却说许后死得不明不白，外间已经有人议论，又见淳于衍得释出狱，忽然发了一笔大财，大众早猜到其中必有原因。

及霍氏得立为后，众人恍然大悟，但碍着霍光尚在不敢多言。如今霍光已死，便有人将此语到处传播，宣帝听说后也觉可疑，暗想此言如果属实，必须严行究办，为许后报复冤仇。只是众口喧传未得实据，且霍氏子弟布满朝廷，手握兵权势力甚大，要想惩治也难下手。如今既有此等风闻，霍氏万难亲信，须趁此时削其权力免贻后患，于是召魏相等密议处置之法。

当时度辽将军范明友为未央卫尉，中郎将任胜为羽林监，还有长乐卫尉邓广汉，光禄大夫散骑都尉赵平，统是霍光女婿。光禄大夫给事中张朔系霍光姊夫，中郎将王汉系霍光孙婿，宣帝先徙范明友为光禄勋，任胜为安定太守，张朔为蜀郡太守，王汉为武威太守；复调邓广汉为少府，收还霍禹右将军印，阳尊为大司马；特命张安世为卫将军，所有两宫卫尉，城门屯兵，北军八校尉尽受张安世节制。又将赵平的骑都尉印绶也一并撤回，但使为光禄大夫。另使许、史两家子弟代为军将。

霍禹见宣帝夺其兵权心中愤郁，于是称病不肯入朝。一日大中大夫任宣前来拜访。霍禹便命请入。任宣曾为霍氏长史，听说霍禹有病故来看视。任宣见霍禹并无病容，便故意用言挑道：“未知君候身患何病？”霍禹听了长叹道：“我有甚么病症？只是心下不甘。”霍禹呼宣帝为县官，又信口讥评道：“县官非我家将军怎得到此？今将军坟土未干就将我家疏斥，反任许史子弟夺我印绶，究竟我家有甚么大过呢？”任宣闻言劝解道：“大将军在日亲揽国权，生杀予夺操诸掌握，就是家奴冯子都王子方等也受百官敬重，比丞相还要威严。大凡盛衰各有其时，今许、史乃天子骨肉自然当贵。大司马因此怨恨，愚意以为不可。”霍禹被任宣说了一通默然无语。过了数日病假已满，霍禹只得照旧入朝。

却说霍山、霍云等见势力日孤，便常与霍显、霍禹商议，往往相对啼泣自相埋怨。霍山说道：“今丞相用事县官信之，竟将大将军所定法令尽行变易，一班儒生多系贫人客居长安，饥寒交迫喜为妄言，素为大将军所恶。今儒生人人都能上书请见，而且多言大将军过失。主上肯定不信任我辈了。”霍显勃然道：“这是魏丞相唆使要灭我家，难道他果无罪过么？”霍山说道：“丞相生平廉正却是无罪，我家行为不谨容易受谤，最可怪的是都中争言我家毒死许皇后，究竟此说从何而来？”霍显便把他们引至内室，具述淳于衍下毒实情。霍禹等不觉同声急语道：“这！这！……这事果真么？奈何不先行告知！”霍显也觉愧悔，把一张粉脸急得红一块青一块，就如无盐嫫母一般。后人有诗叹道：

不经贪贼不生灾，

大祸都从大福来；

莫道阴谋人不觉，

空中天网自恢恢。

霍山及霍云回到家中，便将霍显言语告知家人，家人听说后无不惊恐。正在举家慌张之际，霍云至友张赦来到他家，见其家人神色张惶，便为霍氏想得一计，说道：“今丞相与平恩侯擅权用事，可请太夫人速白上官太后，诛此两人翦去宫廷羽翼。天子势孤，上官太后一诏便可废去。”霍云欣然受教，张赦也即告别。

不料隔墙有耳，张赦计谋竟为家中马夫所闻，夜间告诉其他马夫。他们本是一班粗人，说完统去就寝。

却说有个颍川人名叫张章，曾在长安充当亭长，因事失官流落四方，记起与霍氏马夫相识，遂寻见马夫具言来意。马夫便留他在马枥旁下榻。张章听得众马夫相聚谈论，心中不由暗喜道：“我如今机会到了！”

朦胧半晌已报鸡声，张章照着马夫言语打定腹稿，一到天明便与马夫作别，自去缮成一书北阙呈入。

霍显夜来神思不宁，梦见霍光与语道：“汝知儿被捕否？”霍光果真有灵，应当先活捉奸夫冯子都，这全是霍显惊慌所致。霍禹也梦见车声马声前来拿人。母子清晨起床互述梦境，都很担忧。又见宅门无故自坏；屋瓦无风自飞；种种怪异不可究诘。

霍氏听说有人上书后越觉惊惶。遂使诸女各自归家报告其夫，劝其同谋举事，并说将来祸发谁也无处躲避。霍氏诸婿只得依允。待中金赏乃金日磾之子霍光女婿，听说此事后立即上书自请去妻。

宣帝不能再容，当即派吏四出，凡霍氏家族亲戚一体拿办。霍山、霍云及范明友自知无可逃避，各寻自尽。