汉光武用武力平定天下后，又尽力搜罗知名之士，利用他们的名望来巩固自己的政权。他打发使者到各地方去邀请当时的名人，可是名人有名人的脾气，他们愣不来。汉光武也有他的怪脾气，人家越不肯来，他越要人家来。太原人周党顶不住使者的催促，只好坐着车马来了。他穿着旧衣服，戴着破头巾，到了朝堂上气呼呼地往地下一趴，怎么也不肯磕头，更别说叫“皇上”了。汉光武请他做大官。周党说：“我是乡下老百姓，不懂得政事，请放我回去吧！”汉光武拗不过他的倔强劲儿，就下了一道诏书，说：“自古以来就是贤明的君王也有人不肯做他的臣下。从前伯夷、叔齐不吃周朝的粮食，今天太原周党不接受我给他的俸禄，各人有各人的主意。赐给他四十匹帛，让他回去吧。”
周党不愿意做官，总算还来了一趟。其他名人有的假装害病干脆不来，有的隐姓埋名逃到山林里去了。这些名人之中最出名的一个要数严光，也叫严子陵，他跟汉光武还同过学，两从小就挺好。汉光武即位以后老想念他，可又不知道他在哪里。他找来一个画工，把严子陵的相貌说了一遍，就吩咐画工画他的像。画工按照汉光武说的画了个大概。汉光武一看还有点像。他又叫画工再修改几下。嗬！简直就是真的严子陵。有了这一张，再画就方便了。汉光武派人把这些画像分送到各郡县，叫官吏和老百姓寻找严子陵。
这种画形图影的办法还真顶事，齐国上书给汉光武，说有个男子披着羊皮，老在河岸上钓鱼，相貌跟画像有几分像，不知道是不是他。汉光武马上准备好上等的车马，派使者到齐国去接他。
使者见了严子陵，奉上礼物请他上车。严子陵推辞说：“你们看错人啦。我是打鱼的，不是严子陵。礼物拿回去，让我安静地过日子吧。”使者哪里肯听，死乞白赖地把他推上了车，飞一样地送到京城宾馆。汉光武亲自去看他，严子陵脸朝里躺在床上，不理他。汉光武走过去摸着他的肚子说：“喂，子陵，你怎么啦？不愿意帮帮我吗？”严子陵翻过身来盯着汉光武说：“人各有志，你逼我干吗？”汉光武叹了口气说道：“子陵，我真的不能收服你吗？”严子陵听后更加不理他了。他宁可收几个弟子教书，也不愿意做汉光武的臣下。
汉光武请他搬到宫里去，对他说：“朋友总还是朋友吧。”严子陵这才答应他到宫里去走一趟。那天晚上，汉光武跟他睡在一起。严子陵故意打着呼噜，把大腿压在汉光武身上。汉光武就让他压着。第二天汉光武问他：“我比从前怎么样？”严子陵回答说：“好像有一点长进。”汉光武乐得大笑起来，当时就要拜他为谏议大夫。严子陵怎么也不干，他说：“你让我走，咱们还是朋友；你逼着我，反倒伤了和气。”汉光武只好让他走。严子陵已经露了面，不必再更名改姓了，他就回到富春山种地、钓鱼，过着隐士的生活。富春山旁边就是富春江。江上有个台，据说就是当年严子陵钓鱼的地方，所以称为严子陵钓台。
东海人王良受官沛郡太守，迁任大中大夫，进为大司徒司直，在位恭俭，妻子不愿随朝仍住东海。司徒掾史鲍恢因事至东海，经过王家，王良妻方从田间归来，鲍恢素未相识，错疑是佣妇，于是昂然与语道：“我为司徒掾史，便道至此，欲见王司直夫人！”王良妻答道：“妾身便是！掾史劳苦。”鲍恢慌忙下拜，并问良妻有无家书。良妻答称：“在官言官，不敢以家事相烦。”鲍恢叹息而还。贤妇风范比其夫尤为难得。
后来王良因病辞归，病愈后应征复起，道出荥阳探访故友。故友不肯出见，但传语道：“没有忠言奇谋窃取大位岂不可耻？奈何仆仆往来不自惮烦呢？”王良听了此言未免自惭，乃谢病归里终不就征。
却说光武帝既立郭氏为皇后，嫡子刘强为皇太子，相安有年。郭后复生四子，一名刘辅，一名刘康，一名刘延，一名刘焉。阴贵人也生五子，长名刘阳，次名刘苍，次名刘荆，又次名刘衡，又一名刘京。尚有一子刘英，为许美人所出。许美人无宠，故只生一男。阴贵人最得宠爱，光武帝有时出征，常命阴贵人随行。阴贵人初次生男，曾在元氏县中分娩，彼时从征彭宠适当有娠，故在行辕中产儿，取名刘阳，刘阳少时聪悟，十岁时就通晓《春秋》。
建武十五年（39年），刘阳受封东海公。当时朝廷发现垦田亩数和人口不对，于是重新清查田亩，这就是历史上有名的“度田事件”。各个州郡的官员进京汇报工作，光武帝刘秀看到陈留吏的牍上写有，“颍川、弘农可问，河南、南阳不可问。”便问陈留吏这是什么，陈留吏说不知道什么意思，他是在雒阳的长寿街上得到的。这时帐幄后面只有十二岁的刘阳插话说，这是郡里的官吏教陈留吏怎么核查土地的。刘秀又问：那为什么河南、南阳不能问呢？刘阳又说，河南是帝城，南阳是帝乡，这两个地方田亩和宅第肯定逾制所以不能认真核查。刘秀于是让虎贲将诘问陈留吏，陈留吏所言果然和刘庄一样。从此刘秀对自己这个只有十二岁的儿子愈加青睐。
郭皇后当然怀嫌，在光武帝前冷嘲热讽语带蹊跷。光武帝积不能容，于是夫妻反目，到了十七年冬月，竟突然下诏道：
皇后怀势怨怼，数违教令，不能抚循他子，训长异室。宫闱之内，既无关睢之德，而有吕霍之风，岂可托以幼孤恭承明祀？今遣大司徒戴涉、宗正刘吉持节往谕，上缴皇后玺绶。阴贵人乡里良家，归自微贱，自我不见，宜奉宗庙为天下母。特颁诏以闻。
也就是废郭后立阴后。
诏既颁发，群臣互相错愕莫敢发言。郭皇后只好缴出印绶徙居别宫。那色艺兼优的阴贵人竟得超居中宫母仪天下。
那么刘秀为什么要废后呢？
首先郭圣通与刘秀的婚姻并非出于本心，而是战争时期政治之下的牺牲品。刘秀刚到河北去的时候，可以说是只身一人无权无力。尤其当时河北已经有了掌权的王郎，势力绝对碾压刘秀。这时西汉宗亲刘杨看中了他的实力和人品，要把外甥女郭圣通嫁给刘秀。刘秀在刘杨的帮助之下直接进攻邯郸打败了王郎，成为当地的一方诸侯。后来刘秀与刘杨两者联合，继续南征北战夺得了天下。
刘秀成为皇帝之后，不再需要刘杨的帮助，刘杨一帮人该干什么还干什么，丝毫没有晋升的可能。这下刘杨心里就比较恼火了，在刘杨看来，东汉就是他们河北老爷们一手打下来的，刘秀只是捡了个漏而已。
所以刘杨为此闷闷不乐，甚至连刘秀的使者前来他也闭门不出。这在刘秀看来就是谋反的意思，既然是谋反，自然就要被诛杀。
刘秀派人诛杀了刘杨全家，从此平定了真定国。那么刘杨是不是真的要谋反呢?其实压根就没有证据。
也就是说，刘杨并不是因为谋反而被诛杀，是因为有谋反的嫌疑而被诛杀。这么来看，是不是跟岳飞被诛杀有几分相似?
刘杨手握雄兵，一直以来都是刘秀最为忌惮的对象，既然没办法从正面解除他的兵权，刘秀只能选择这种极端的做法。