自王朝初期以来，朝廷习惯于对个人赐给某些名誉官衔（如侍中）。这些人没有特定的职责或官俸，不过是荣誉或受宠的标志，接受官衔的人数也没有正式限制。他们能随意进入皇宫，个人可以伴随皇帝，从皇帝那里分得一部分权力，渐渐地形成一个势力集团。这个集团就是历史上所说的内廷，而被正式任命和有官俸的文官组成的势力，就被称做外廷。
如果一名侍中，得到皇帝的任命，去领导少府的一个下属官署尚书，他就有条件可以不顾正式职官的指责和权限而行使其权力。久而久之，皇宫大内最有权力的人物，不是丞相，不是将军，而是尚书令，因为他能直接觐见皇帝，能由此获得对他的行动的必要的认可。而在这一群人中，以大司马的名誉头衔最高，因此所获的权力，也就是一人之下万人之上。此刻的霍光，便是出于内廷之中的官员，能够直接和皇帝接触，也就掌握着甚至比长公主和燕王刘旦还可怕的权力。
恰逢此时，霍光有感于苏武的志气，将被匈奴扣留十九年之久的他召还京都长安，任为典属国。燕王着手布置诛除霍光的事宜，知晓霍光竟然做出如此举动，遂心中大喜，忙向皇帝上书，诬告霍光意欲借助匈奴兵力，同时暗自调动京城兵力，封锁都城，目的就是为推翻昭帝，自立为帝。燕王刘旦继而请求皇帝准许自己带兵入宫，旨在为了防止霍光，拱卫皇帝和京师。上官桀企图等到霍光不在朝堂时，将这封奏章送到昭帝手中，而后再由他按照奏章内容来宣布霍光的“罪状”，由桑弘羊组织朝臣共同胁迫霍光退位，进而废掉汉昭帝。这封信很顺利的递到了昭帝的书桌上，然而他们却没有料到，昭帝虽然貌不惊人，平时也没有什么很明智的举动，但实际上却聪明得很。所以揭发信到了昭帝手中，他没有做出任何表示，一方面，他不相信燕王所说；另一方面，他也想顺势看看，霍光对于自己的忠诚度到底有多高。霍光很快就知晓了这件事情，于是，到了第二天他便故意不上朝，而是站在先帝所赠“周公背成王图”的图画面前，以示清白，同时也要昭帝表明自己的态度。果然，昭帝见霍光竟然没有上朝，遂当朝问道：“霍卿家何以会不来上朝？”上官桀乘机说道：“这正证明了霍光的心虚，他定然是知晓了燕王刘旦的告密信，由此可见，其情报网络的严密，陛下危矣，请责罚于他。”哪知昭帝竟然一点也不为所动，他诏来霍光，淡然笑道：“我知道那封书信是在造谣诽谤，你是没有罪的。如果你要调动所属兵力，时间用不了十天，燕王刘旦远在外地，怎么能够知道呢！况且，你如果真