昌邑王继位之后，淫戏无度，把昌邑国的官属全都召到长安，往往超擢拜官，昌邑国相安乐提升为长乐宫卫尉。龚遂见安乐，流涕说：“王立为天子，日益骄溢，谏之不听。如今哀痛未尽，还在国丧期间，却每天和近臣饮酒作乐，斗虎斗豹，又出动皮轩车、九旒（皮轩车是皇帝出巡车队的前驱车，以虎皮为顶盖，九旒，旒，音liu，是天子旌旗，有九条旒带），驱驰东西，所作所为，都狂悖无道。古代制度比较宽厚，大臣可以辞职隐退。如今退又退不得，我想装疯，又怕被人识破，死后也被人唾骂，怎么办？您是陛下之前在封国的丞相，应该极力谏争！”
刘贺梦见宫门西阶东侧，有大量青蝇粪便，有五六石之多，用大的屋瓦覆盖着，问龚遂。龚遂说：“陛下读《诗经》，不记得吗：‘营营青蝇，止于藩。恺悌君子，勿信谗言。’那嗡嗡叫的青蝇，不要让它飞过篱笆；合乐平易的君子，不要听信谗言。陛下左右，谗人众多，就像青蝇一样可恶。陛下应该选拔先帝的大臣子孙，亲近以为左右。如果舍不得这些昌邑故人，信用他们的谗言阿谀，必有凶险之事发生。希望陛下化祸为福，把他们都放逐出去！就从放逐我开始吧！”刘贺不听。
太仆丞（太仆府设太仆丞两名），河东人张敞上书进谏说：“孝昭皇帝早崩无嗣，大臣忧惧，选贤圣承继宗庙，东向迎接陛下之时，唯恐迟缓。如今陛下以盛年初即帝位，天下无不拭目以待，倾耳以听，观看您的教化，听闻您的风采！但是如今呢，您没有一句话褒奖那些辅国大臣，而昌邑国推挽辇车的小奴，却先得到升迁，这是非常大的错误。”刘贺不听。
大将军霍光忧虑烦闷，单独问他所亲近的老部下，大司农田延年。田延年说：“将军为国家柱石，既然考察下来，此人不可。何不禀告太后，更选贤德者而立之？”霍光说：“我就是想这么做，不知道古代有先例没有？”田延年说：“伊尹为殷商宰相，废太甲以安宗庙，后世都称道他是忠臣。将军如能办成这件大事，也是汉之伊尹了。”霍光于是让田延年兼任给事中（可以出入宫禁，常侍皇帝左右），秘密与车骑将军张安世图谋定计。
华杉说：
伊尹之事，是商汤的长孙太甲继位后，伊尹做辅政大臣。太甲无道，伊尹将太甲软禁在商汤的陵墓桐宫，他自己与诸大臣执政。太甲悔过三年，真心改正后，再接回来还政于他。太甲还真成了有为的明君。如今霍光想找到大臣废黜皇帝的历史先例作为政治依据，田延年就跟他讲了伊尹。后世将大臣为了国家利益，而不是自己夺权而废黜皇帝，另立新君，称为“行伊霍之事”，霍光和伊尹并列了。
刘贺出游，光禄大夫，鲁国人夏侯胜挡在乘舆前进谏说：“天气阴天很久，却不下雨，这是天象，显示有臣下阴谋对皇上不利。陛下这时候出游，要去哪里呢？”刘贺怒，说夏侯胜妖言惑众，将他捆了，交给有司治罪。有司向霍光请示，霍光并不依法处置他。霍光问张安世，是不是他走漏了消息。张安世确实是没跟人说过。于是召夏侯胜来审问。夏侯胜说：“在《洪范传》里有讲：‘皇之不极，厥罚常阴，时则有下人伐上者。’皇上很多过失，招致天罚，就会长时间阴天，有下位的人要杀皇上。我不敢明说杀伐这样的恶言，所以只说‘臣下有谋’。”霍光、张安世听了大惊，从此更加重视通晓经术的知识分子。
侍中傅嘉数次进谏，刘贺也将他捆了关进监狱。
霍光、张安世计议已定，就派田延年去报告丞相杨敞。杨敞惊惧，汗流浃背，不知道说什么，也说不出话，只是口中唯唯。田延年起身上厕所。杨敞夫人从东厢房出来对杨敞说：“这是国家大事，如今大将军计议已定，派九卿级别官员来报告给你，你不赶紧响应，与大将军同心，还犹豫不决，恐怕就要先诛杀你！”田延年从厕所出来，杨敞夫人一起参与谈话，许诺：“请奉大将军教令！”
六月二十八日，霍光召集丞相、御史、将军、列侯、中二千石、大夫、博士，在未央宫召开会议。霍光说：“昌邑王行为昏乱，恐怕危及社稷，怎么办？”群臣都惊愕失色，不敢发言，只是唯唯诺诺而已。田延年上前，离席按剑，说：“先帝托将军以幼孤，寄将军以天下，就是因为将军忠贤，能安刘氏。如今群下鼎沸，社稷将倾。况且汉家帝王，谥号中常有一个‘孝’字，就是为了子孙能长有天下，令宗庙能享受子孙的祭祀。如果汉家绝祀，将军就算死了，又有何面目见先帝于地下！今日之议，必须马上决断，群臣中有迟疑拖后的，请让我马上斩了他！”霍光谢罪说：“九卿责备我的话是对的，天下汹汹不安，我应该受到责难！”于是群臣都叩头说：“万姓之命，在于将军，唯大将军令！”
霍光随即率领群臣去觐见太后，向太后陈述昌邑王不可承继宗庙的种种劣迹。皇太后于是车驾前往未央宫承明殿，下诏各宫门禁卫，不让昌邑国群臣进来。刘贺朝见太后后回宫，正准备乘辇车回温室殿，中黄门宦官各自把着门扇，刘贺一进去，宫门即刻关闭，昌邑国群臣不得进入。刘贺问：“怎么回事？”霍光跪下报告说：“有皇太后诏，不让昌邑国群臣进宫。”刘贺说：“慢点来，干嘛搞得这么吓人！”霍光派人将昌邑群臣驱赶出去，撵到金马门外。车骑将军张安世带领羽林军骑兵，捆绑了二百多人，全部关押在廷尉诏狱。又下令昭帝时的侍中中臣宦官看住刘贺。霍光下令左右：“严密保护他，别让他因别的原因死了或自杀，让我有负于天下，背上杀主之名。”刘贺这时候还不知道自己要被废，对左右说：“我之前的旧臣从官有什么罪，大将军要把他们全抓起来吗？”
过了一会儿，有太后诏书召昌邑王。刘贺听到太后召见他，这才开始害怕，说：“我有什么罪吗？太后召我去？”
太后身批珠宝编织的衣服，盛装坐在武帐内，左右数百武士，都手持兵器，又有期门武士，沿着台阶布岗，手持铁戟，一直排到殿下。群臣按班次上殿，召昌邑王俯伏在前听诏。
霍光与群臣联名弹劾昌邑王。尚书令先宣读奏书：“丞相臣杨敞等人，昧死向皇太后陛下报告：孝昭皇帝早早抛弃天下，遣使征召昌邑王来主持丧礼，穿着孝服，却无悲哀之心，以至于礼仪全废，在来的路上，他没有素食，派从官抢夺民间女子，藏在行李车中，送到驿站陪宿。初到长安，晋谒太后，立为皇太子，仍然私自购买鸡肉、猪肉来吃。在先帝灵柩前接受皇帝御玺，拆封之后，竟然不再封存。（拿回去随手一放，毫不在意，显示刘贺不慎重，不称职。）随从官员，更是持节引领昌邑从官、马夫、厨师、官奴二百余人，经常在皇宫之内，傲慢无礼，游戏无度。昌邑王还写信回去说：‘皇帝问候侍中君卿，我已下令中藏府令高昌，送给你黄金千金，你可以娶十个妻子。’先帝的灵柩还停在前殿，他就搬出乐府乐器，让昌邑乐师击鼓，唱歌，演戏。又召来泰一神庙和宗庙乐师，把所有的音乐都演奏起来。出动法驾仪仗，在北宫、桂宫驱驰，弄猪斗虎。又擅自征调皇太后御用的小马车，让官奴骑乘，在掖庭游戏。又与孝昭皇帝的宫女蒙等人淫乱，下诏给掖庭令说：‘有敢泄露出去的，腰斩！’”
上官太后说：“停！别说了！为人臣子，有这么悖乱的吗？！”
刘贺离开他的坐席，跪伏在地上。尚书令继续宣读：“昌邑王又取出诸侯王、列侯、二千石官员印信上的红色绣带以及黑色绣带、黄色绣带，叫昌邑国的郎官和被赦免为平民的奴隶们佩带。又打开御府，将金钱、刀剑、玉器、绸缎用于赏赐他的玩伴。与从官、官奴夜饮，沉湎于酒。又在温室殿设九宾之礼，接见他的姐夫昌邑关内侯。天子宗庙祭祀还没有举行，就派使者持节以三份太牢之礼，去祭祀昌邑哀王的园庙，自称‘嗣子皇帝’。自接受皇帝御玺以来，才二十七天，派出的使者一个接一个，仅持节向各官署征发的，就一千一百二十七件。荒淫迷惑，失去了帝王应有的礼仪规矩，乱汉家制度。臣杨敞等数次进谏，也不改正，而且日甚一日，恐怕危及社稷，天下不安。臣杨敞等与博士们商议，都说：当今陛下继承孝昭皇帝帝位之后，行为淫辟不轨，《孝经》说：‘五辟之属，莫大不孝。’在五种刑罚中，应使用最重的一种来惩罚不孝。周襄王当年不能事奉母亲，弄得弃国出奔，《春秋》记载说：‘天王出居于郑。’为什么用一个‘出’字，就是说他因为不孝儿出奔，是自绝于天下。宗庙比君王重要，如今陛下已不能承受天命，侍奉宗庙，为天下万姓的君父，应当废黜！臣请有司用一份太牢，祭告高庙。”
皇太后下诏说：“可。”
霍光令昌邑王起身，下拜受诏。刘贺说：“我听说，天子有敢于谏争的忠臣七人，就算是他无道，也不会失去天下。”霍光说：“皇太后已经下诏把你废了，怎么还自称天子！”于是拉着他的手，解下他系带御玺的佩带，呈缴给太后。扶他下殿，出金马门，群臣跟着送行。刘贺向西下拜说：“我愚蠢，不能胜任汉家大事！”起身，坐上天子副车，霍光一路送到昌邑王邸。霍光谢罪说：“大王的行为，自绝于天，臣宁愿有负于大王，不敢有负于社稷！愿大王自爱，臣今后不能在您左右了。”霍光涕泣而去。
群臣又上奏说：“古代被废之人，就屏退到远方，不让他参与政事。建议将刘贺迁到汉中房陵县。”太后下诏让刘贺回到昌邑，赐给汤沐邑二千户，以前昌邑王室财物也都给他。昌邑哀王的四个女儿，也各赐给汤沐邑一千户。撤销昌邑国，改为山阳郡。
昌邑国群臣被控在封国时没有上奏刘贺的罪过，以至中央政府没有掌握情况，又不能辅佐他走上正道，将他陷于大恶，全体下狱，诛杀二百余人。唯有中尉王吉，郎中令龚遂，因为忠直，数次谏争，得以免死，但仍剃去头发，送去劳改。刘贺的师傅王式，也系狱当死，负责审问的治事使者问他：“你是师傅，为什么没有谏书？”王式回答说：“臣以《诗经》三百零五篇朝夕教授给大王，所有忠臣、孝子的诗篇，没有不为大王反复诵读的，所有危亡失道的昏君的故事，没有不流着泪为大王深刻讲解的。臣以诗经三百篇为谏争，所以没有专门的谏书。”使者汇报上去，于是王式也得以免死。
霍光因为现在群臣在东宫奏事，太后既然听政，就应该通晓经术，于是推荐夏侯胜用《尚书》教授太后，擢升夏侯胜为长信少府，封关内侯。
