重和信任，每逢上朝，都会给予霍光特殊的礼遇；但在内心深处，汉宣帝对霍光却十分忌惮，甚至在与霍光同乘一辆车时，会感到“若有芒刺在背”，坐立不安。霍光此时虽无谋反之心，但他功高震主，权势远超历代大臣，这也为他死后霍氏家族的覆灭埋下了祸根。
汉宣帝即位后，立皇后之事被提上日程。朝臣们大多依附于霍光，纷纷提议立霍光的女儿霍成君为皇后。但汉宣帝心中早已有人选——他在民间时迎娶的元配妻子许平君。为了委婉地表达自己的意愿，汉宣帝下了一道诏书，称“朕在民间时曾有一把故剑，如今十分思念，希望能找到它”。朝臣们见状，明白了汉宣帝的心意，便不再提议立霍成君为后，转而支持立许平君为皇后。霍光见汉宣帝态度坚决，且立许平君为后符合礼制，便没有表示反对。但当汉宣帝按照汉朝惯例，提出要封许皇后的父亲许广汉为列侯时，霍光却出面反对。霍光认为，许广汉曾因犯罪受过宫刑，不符合列侯的身份要求，若封其为列侯，会破坏朝廷制度。汉宣帝无奈，只好暂时搁置了封爵之事。
霍光的继室显（姓氏不详，史称霍显）对女儿霍成君未能成为皇后一事耿耿于怀。她认为，以霍家的权势，霍成君理应成为皇后，许平君不过是民间女子，不配母仪天下。为了让女儿登上皇后之位，霍显竟生出了一个恶毒的计划。恰逢此时，许皇后怀孕待产，霍显暗中买通了为许皇后接生的医生淳于衍，让她在为许皇后接生时，暗中下毒将许皇后害死。淳于衍起初不敢答应，但在霍显的威逼利诱下，最终还是答应了这个请求。
许皇后生产后，淳于衍按照霍显的指示，将毒药掺入了为许皇后调理身体的汤药中。许皇后服用后，很快便出现了中毒症状，不久后便去世了。许皇后的突然离世引起了汉宣帝的怀疑，他下令彻查此事，淳于衍因涉嫌下毒被逮捕入狱，接受审讯。霍显得知淳于衍被抓后，十分害怕，担心事情败露会牵连到自己和霍家，无奈之下，只好向霍光坦白了自己买通淳于衍毒死许皇后的真相。
霍光得知真相后，惊骇不已。他万万没有想到，自己的妻子竟然会做出如此胆大妄为、触犯国法的事情。起初，霍光想要将霍显交给朝廷治罪，以维护法律的公正和自己的声誉。但在霍显的苦苦哀求下，霍光最终还是碍于夫妻情分和对霍家未来的考虑，选择了隐瞒此事。他利用自己