却说前昌邑王刘贺被废之后，连王号也一概削除。昌邑国改为汉山阳郡。上官太后仍许刘贺归到昌邑故宫居住，赐以食邑二千户。刘贺回到昌邑，终日幽囚宫中如同犯人，若是他人早已忧郁不堪。偏他不知愤恨安闲过日，但不比从前那种快意。到了地节三年霍光已死。宣帝亲理政事，念起刘贺也曾为帝，今虽被废住在昌邑，万一有人蓄意作乱，或者托名推戴，煽惑人心聚众起事，岂非养虎贻患。于是命张敞为山阳太守，随时防范方可放心。
张敞字子高，平阳人，昭帝时官为太仆丞。刘贺被征即位后，种种举动不遵法度。张敞上书切谏，刘贺不听，未几为霍光所废。张敞由此显名，擢为豫州刺史。
宣帝即位后召拜张敞为太中大夫，同判尚书事。张敞遇事守正不阿，因此忤了霍光之意，出为函谷关都尉。宣帝久知张敞才具过人，故用为山阳太守。
张敞于地节三年五月到任视事，查得故昌邑王刘贺现居旧宫，奴婢等在宫者共有一百八十三人，闭起正中大门，但开旁向小门，选吏一人为之主管钱物，每日买入食物一次，除食物外，其他不得出入。又用督盗一人，专掌稽察往来之人。更由王家出钱雇用士卒，巡逻宫墙，清除中禁，防备盗贼。张敞时遣属吏前往察看。
到了四年九月，张敞亲自入宫视察情形，刘贺闻信急出接见。张敞留心观看刘贺，见他年约二十六七岁，面带青黑色，小目尖鼻须眉稀少，身材却甚长大。只因酒色过度，得了痿病行动不便。身穿短衣大裤，腰佩玉环，头上插笔一枝，手中持着木简。张敞暗想从前我与他本是君臣，如今他并无爵位，算来反不如我，时异势殊，令人不胜感慨。
张敞一路行进，到了中庭与刘贺叙礼，分宾主坐下。张敞欲探刘贺之意，借着恶鸟动他，遂开言道：“昌邑枭鸟甚多。”刘贺急应道：“是，从前贺到长安，不闻有枭，及回时东行，到了济阳又闻枭声。”张敞听他说话毫无意思，遂不再言。
此时官吏见太守到来，照例将刘贺妻子奴婢财物簿册呈请张敞点验。张敞点至刘贺之女持辔，刘贺跪起说道：“持辔之母乃严延年之女也。”张敞闻言点头无语。共计刘贺妻妾十六人，子女二十二人，张敞逐一点验已毕。过了一时，张敞查知昌邑哀王刘髆有歌舞女张修等十人未生子女，且在后宫并无位号。哀王既死，照例应遣发回家。刘贺却说：“这些人有病不必诊治，自相杀伤也不必究办，太守何必遣其归家耶？”张敞心想此人始终不知仁义，与他更无话说。后来张敞还是将张修等人一律遣发。
张敞回奏宣帝，宣帝方悟刘贺不足畏忌。元康三年春，乃下诏封刘贺为海昏侯，食邑四千户。
刘贺得封侯爵，便由昌邑移居海昏。侍中金安上上书道：
刘贺天之所弃，陛下至仁封为列侯。贺乃放废之人，不宜得奉宗庙朝聘之礼。
宣帝见书批准。于是刘贺虽然封侯，对于朝廷典礼不得参预，不过得食租税挂个空名而已。
又过数年，扬州刺史上奏道：“刘贺与前太守吏卒孙万世交好。孙万世曾对刘贺说：‘君被废之时，何不坚守勿出宫门，立斩大将军，竟听他人夺取玺绶。’刘贺听后急应道：‘是也，我当日失于留意。’孙万世又说：‘刘贺不久当为豫章王。’刘贺也信以为实，便应道：‘亦将如此。’以上两次言语，皆非刘贺所应言，应请究治。”有司查明是实，请将刘贺逮捕。宣帝命削夺三千户。刘贺方知自己为众人所唾弃，心中渐觉郁闷。他所居海昏本豫章郡属县，有赣水绕城，东出大江。刘贺闲中乘舟顺流东望，往往愤慨而还，后人名其地为慨口。
神爵三年刘贺身死。有司奏其子刘充国当嗣爵。充国竟死，有司复奏其弟奉亲嗣爵，奉亲又死。宣帝命有司会议，皆认为不宜再立嗣，于是除国为县。及元帝即位，又封刘贺儿子刘代宗为海昏侯，传到东汉国尚未绝，此是后话。
却说自从刘贺被废，昌邑群臣一同下狱，龚遂因平日直言敢谏，得免死刑，罚为城旦。后来宣帝即位被赦出狱。朝中公卿虽然都知道龚遂之贤，但因霍光当国最恶昌邑旧人，所以无人敢引荐，龚遂也就隐居不仕。
数年以后，渤海（今河北仓县东）郡及其附近地区发生灾荒，农民起义并起，皇室多次派兵镇压而不能平息。于是，宣帝亲自选拔能治之才。丞相、御史均举荐龚遂，此时龚遂年已七十余岁。
龚遂闻召即来，宣帝一眼望见顿觉失望。原来龚遂年纪已老，又兼身材短小，宣帝心中不免看轻。但因诏书已下未便收回成命，只得开言问道：“渤海废乱朕甚忧之，君将用何法息其盗贼以副朕意？”龚遂对道：“海边僻远之地不沾圣化，其民为饥寒所困，而官吏不知抚恤，今使臣前往是用威胜之，还是以德安之？”宣帝一听方知龚遂名不虚传，不觉大悦，便答道：“举用贤良之人，原欲安之而已。”龚遂接着说道：“臣闻治乱民如治乱绳，势不宜急，惟有缓之，然后可治。臣请丞相御史暂时勿用文法拘束，使臣得一切便宜从事。”宣帝许之，并加赐黄金，使其乘驿前往。
当日龚遂乘坐驿车到了渤海郡界。郡中官吏听说新太守到任，恐被盗劫急发兵来迎。龚遂见了传令全数撤回不用，一面通饬各属县停止捕拿盗贼。凡人民手持耕田器具者皆是良民，官吏毋得过问；惟手持兵器者方是盗贼。此令一下，说也奇怪，不消数日，渤海界内许多盗贼忽然不见。龚遂也不带人保护，独自单车到府，郡中安然无事。读者试想，渤海当日何等大乱，盗贼成群结队遍地皆是，谁知拿捕愈严盗贼愈多，正在无法可治，适遇龚遂到来，却将盗贼看同无物，从容下一命令，便收拾得无影无踪。须知盗贼与良民同是人类，大抵衣食充足，盗贼便转为良民；饥寒交迫，良民皆化为盗贼。渤海连年饥荒人民无食，不得已聚众劫夺苟全性命。今见新太守命令不问前事，大众自然欢喜，立即弃却兵器弓矢，手持镰刀锄头耕作，所以境内平静。
龚遂于是大开仓廪借与贫民，选用良吏安抚百姓。又见渤海风俗奢侈，人民多从事手工技艺不重耕作，龚遂乃提倡节俭，劝民勤力农桑，下令每人须种榆一株，葱五十根，韭菜一畦，又每家须养母猪二头，鸡五只。渤海人民既受龚遂教化，风气为之一变。每年春夏时节便齐往田中耕种。到了秋冬家家俱有收成。遇有山场并可摘取果子，湖荡又可收取菱芡。