刘志此时虽宠信宦官，却也深知宦官专权已引发朝野不满，若再纵容，恐生祸乱，且杨、周二人力主此事，朝中诸多大臣皆同声附和，刘志权衡利弊之下，最终采纳了二人的建议。
随后，太尉杨秉奉旨彻查宦官党羽，经细致核查，列出五十余名罪证确凿的宦官亲族与党羽名单，上奏刘志。刘志依奏下旨，对这批人严加惩处，或就地处死，或罢官削爵，无一姑息。此次整饬，直击宦官集团的要害，那些横行霸道的宦官党羽一夜之间或身首异处，或丢官罢职，朝堂之上为之一清，地方吏治也稍有整肃，“天下莫不肃然”，一度膨胀的宦官势力遭到沉重打击，得到了极大的削弱，朝野上下的不满情绪也暂时得到平息。
延熹八年（165年），刘志见“五侯”虽经杨秉整饬，仍有残余势力暗中作祟，且其昔日恃功骄纵的行径仍让刘志心存忌惮，便决意进一步清理“五侯”势力，彻底根除这一朝堂隐患。此时司隶校尉韩演素有刚正之名，见左悺、具瑗等人仍不知收敛，便率先发难，上书弹劾中常侍左悺恃权骄奢、贪赃枉法、构陷忠良等多项重罪。刘志早已欲除之而后快，见韩演奏折呈上，当即下旨彻查，左悺见大势已去，恐遭严刑拷打，畏罪自杀。
左悺伏诛后，韩演乘胜追击，又上奏弹劾中常侍具瑗之兄具恭，称其依仗弟弟的权势，在任上贪赃枉法、鱼肉百姓，罪不容诛。刘志顺势下令，将具瑗押入廷尉府问罪，具瑗深知自己难逃其咎，只得主动前往廷尉府谢罪，上交东武侯印绶，乞求刘志从轻发落。刘志见其服软，虽未取其性命，却也削去其侯位，将其贬为都乡侯，逐出洛阳。左悺、具瑗的倒台，如同推倒了多米诺骨牌，昔日风光无限的“五侯”其余三人——单超、徐璜、唐衡，虽早已病逝，但其宗族子弟皆受牵连，被刘志一一贬斥，其所有封地也被悉数没收，归还给朝廷。至此，盛极一时的“五侯”专权时代彻底终结，刘志凭借此举，再次收回部分朝权，朝堂局势一时趋于稳定。
为了巩固中央集权，防止地方官员借宗族、姻亲关系结党营私，形成地方割据势力，威胁中央统治，刘志在清理“五侯”的同年，颁布实施了中国古代历史上第一个成文的官员任官回避制度——三互法。三互法明确规定，官员任职需回避本籍、婚姻之家及两州人士交互为官，此举从制度层面遏制了地方势力的勾结，对加强中央对地