有常处。郎仆射窃识视之，不失尺寸。其资性端正如此。初辅幼主，政自己出，天下想闻其风采。殿中尝有怪，一夜群臣相惊，光召尚符玺郎。郎不肯授光。光欲夺之。郎按剑曰：“臣头可得，玺不可得也！”光甚谊之。明日，诏增此郎秩二等。众庶莫不多光。
光与左将军桀，结婚相亲，光长女为桀子安妻，有女，年与帝相配。桀因帝姊鄂邑盖主，内安女后宫为倢伃。数月，立为皇后。父安为骠骑将军，封桑乐侯。光时休沐出，桀辄入代光决事。桀父子既尊盛，而德长公主。公主内行不修，近幸河间丁外人。桀、安欲为外人求封，幸依国家故事，以列侯尚公主者。光不许。又为外人求光禄大夫，欲令得召见，又不许。长公主大以是怨光。而桀、安数为外人求官爵弗能得，亦悊。自先帝时，桀已为九卿，位在光右。及父子并为将军，有椒房中宫之重。皇后亲安女，光乃其外祖，而顾专制朝事。繇是与光争权。
燕王旦自以昭帝兄，常怀怨望。及御史大夫桑弘羊建造酒榷盐铁，为国兴利，伐其功，欲为子弟得官，亦怨恨光。于是盖主，上官桀、安及弘羊皆与燕王旦通谋，诈令人为燕王上书，言：“光出，都肄郎、羽林，道上称；太官先置。”又引：“苏武前使匈奴，拘留二十年不降，还乃为典属国。而大将军长史敞亡功为搜粟都尉。又擅调益莫府校尉。光专权自恣，疑有非常，臣旦愿归符玺，入宿卫，察奸臣变。” 候司光出沐日奏之。桀欲从中下其事，桑弘羊当与诸大臣共执退光。书奏，帝不肯下。
明旦，光闻之，止画室中不入。上问：“大将军安在？”
左将军桀对曰：“以燕王告其罪，故不敢入。”
有诏召大将军。光入，免冠军顿首谢，上曰：“将军冠！朕知是书诈也，将军亡罪。”
光曰：“陛下何以知之？”
上曰：“将军之广明都郎，属耳。调校尉以来，未能十日。燕王何以得知之？且将军为非，不须校尉！” 是时帝年十四。尚书左右皆惊，而上书者果亡，捕之甚急。桀等惧，白上：“小事不足遂。”上不听。后桀党与有谮光者，上辄怒曰：“大将军忠臣，先帝所属以辅朕身，敢有毁者，坐之！” 自是桀等不敢复言。乃谋令长公主置酒请光，伏兵格杀之；因废帝，迎立燕王为天