有谋反之心，若此时将张赦等人定罪，虽能打击霍氏集团，但无法彻底根除其势力；相反，暂时搁置此案，会让霍氏集团更加恐慌，促使他们更快地暴露谋反的真实意图，从而让宣帝有理由“名正言顺”地彻底清除霍氏势力。
事实正如宣帝所料，张赦案被搁置后，霍山、霍云、霍禹等人更加惶恐不安，他们担心时间久了，宣帝会继续追查此案，最终牵连出许皇后之死的真相，到那时，霍氏家族将万劫不复。在这种极度的恐惧与焦虑中，霍氏集团最终决定：“先动手为强”，提前发动叛乱。
地节四年（前66年）秋七月，霍氏集团制定了详细的谋反计划：他们打算借上官太后的名义，在宫中设宴邀请丞相魏相、平恩侯许广汉等宣帝亲信，待众人赴宴时，埋伏武士将其杀死；随后，再以太后诏书的名义罢黜汉宣帝，拥立霍禹为帝，从而彻底掌控西汉政权，保住霍氏家族的地位与性命。
然而，霍氏集团的阴谋早已被宣帝察觉。宣帝在逐步削夺霍氏权力的同时，也早已对霍氏集团的动向进行了严密监控，甚至在霍氏集团内部安插了眼线。因此，当霍氏集团刚刚约定好谋反的时间与细节，尚未正式实施计划时，宣帝便率先采取了行动——他以“调任地方官职”为由，任命霍云为玄菟太守（玄菟郡位于今朝鲜半岛北部，远离京城中枢），任命霍氏集团的亲信太中大夫任宣为代郡太守（代郡位于今河北张家口一带，同样远离京城），以此分散霍氏集团在京城的核心力量。
紧接着，宣帝又抓住了霍山的一个“小辫子”——霍山因私自抄写宫禁秘书（汉代宫禁秘书属于国家机密，严禁私人抄写）而触犯法律。霍显得知此事后，深知这是宣帝对霍氏集团的进一步打压，便急忙上书宣帝，请求献出自己位于城西的宅第和一千匹马来“赎霍山的罪”，试图以此缓和与宣帝的关系。然而，宣帝对此只在奏书上批复了“知道了”三个字，既不接受也不拒绝，态度冷淡，这让霍氏集团更加意识到：宣帝早已下定决心要彻底清除他们，任何妥协与退让都无济于事。
就在霍氏集团陷入绝望之际，他们谋反的计划被宣帝安插的眼线彻底告发。宣帝见时机成熟，立即下令展开全面抓捕行动。霍云、霍山得知阴谋败露后，深知自己难逃一死，便选择了自杀；霍光之妻霍显、霍光之子霍禹、霍氏集团的核心亲信邓广汉等人则被官兵捕获，关押