消灭王郎后，刘秀的主要敌人就是活跃在河北的数十支实力不等的农民军。这些揭竿而起的兄弟对于刘秀这个外来户总体上来说是排斥的，因此刘秀必须拣其中的一些硬柿子捏，杀一儆百以德服人，最终才能化剑为犁恢复民生，从而拥有逐鹿天下的实力。
见刘秀在河北日益壮大，更始帝极为不安，他遣使至河北，封刘秀为萧王，令其交出兵马回长安领受封赏。
这时护军朱佑对刘秀说：“长安政治混乱百姓失望；人心所归就是天命。请您别耽误自己。”朱佑是南阳宛城人，刘演、刘秀哥儿俩跟他都很要好。刘演做大司徒的时候，就派他为护军。刘秀进攻河北的时候，也派他为护军，好得像一家人似的。刘秀听到他的话后，不让他说下去，便说：“刺奸将军快把护军逮下去！”可是刘秀的口气并不严厉，刺奸将军并没有动手。
“刺奸将军”是颍川人，名叫祭遵，从小喜欢读书。他家里很有钱，可是他非常节俭，不讲究穿衣吃食，对别人也十分恭敬。刘秀在昆阳打败王寻、王邑以后，路过颍川时碰到祭遵。刘秀因为他名气大，又喜欢他的风度，就把他收在部下，叫他管理军营里法令的事。有个伺候刘秀的小郎犯了法，祭遵就把他杀了。俗话说打狗要看主人面，刘秀的小郎就算犯了法，也该由刘秀自己去办，至少得向他请示一下。祭遵自作主张就把他杀了，刘秀自然发脾气，叫左右去把祭遵抓来。当时有人拦住说：“您一直吩咐我们奉公守法。现在祭遵执行您的命令，怎么能把他办罪呢？”刘秀一听不但没把祭遵办罪，还拜他为“刺奸将军”。
汉军越来越多。刘秀重新编排人马整顿队伍，在可能的范围内让士兵们自愿分配到各营里去。士兵们都说：“愿意拨在大树将军的部下。”刘秀还不知道谁是“大树将军”。
原来“大树将军”是偏将军冯异的外号。冯异为人谦逊，从来不说自己的长处。上阵打仗他跑在头里；平时行军或者不受敌人攻击的时候，他老落在各营的后面。将士们休息的时候，免不了要聊聊自己打仗的经过。将军们也会谈谈自己是怎样打败敌人的。有时候为了争功，甚至闹得脸红脖子粗。偏将军冯异听到将士们争功，就偷偷地溜到大树底下躲着。因此军队里就称他为“大树将军”。
耿弇听说刘秀要回去，急得什么似的，非把刘秀留住不可。他一直跑到刘秀睡午觉的地方对他说：“王郎虽然消灭了，天下还乱着哪。更始不能成大事，非失败不可，我看他长不了。”刘秀坐起来说：“你说什么？我应当把你斩了。”耿弇说：“大王平日像对待儿子一样对待我，所以我才赤胆忠心地替大王打算。”刘秀一瞧没有别人，就笑了一下说：“我跟你开玩笑。你说吧。”
耿弇说：“更始君臣只知道享乐，不知道处理朝政；皇亲国戚都在京都里欺压百姓，横行霸道；将士们在各地掳掠财物、强抢妇女。以前人心思汉，现在又回过头来想念王莽了。再加上铜马、赤眉、青犊、大彤等几十处人马，更始没法对付他们。所以我说他长不了。大王您在南阳首先起义，在昆阳消灭敌人的百万大军。现在平定河北天下归心。只要大王登高一呼，准能天下响应。为什么把天下让给别人呢？”
刘秀不说话。虎牙将军铫期也进来了。他说：“河北接近边界，壮士都能打仗，原来是出精兵的地方。只要大王能够顺从民心，谁敢不听指挥？”刘秀说：“你别瞎说。”但他却又出去对更始的使者说：“王郎虽然消灭了，但河北还没有平静，我一时动身不了。”
来使只好辞去。从此刘秀就留在河北。他拜耿弇为大将军，派他和吴汉往北征调各郡的兵马。有几个郡守抗拒命令，耿弇和吴汉就把他们杀了。等两个将军带领北方的大军回来，刘秀的兵力更强了。他亲自带领大军打败另一支农民起义军铜马，投降的人有几十万。刘秀把几个归顺他的头子封为列侯。打这儿起，他们都服了刘秀，愿意听他指挥，这样一来，关西一带的人都管刘秀叫“铜马皇帝”。接着刘秀又想去进攻燕、赵。
北方还没平定，东边的赤眉军反倒越来越强大。赤眉兵大多是朴实的农民。他们虽然打了胜仗，可是并不想割据地盘，他们的首领樊崇压根儿没有做皇帝的打算。只要推翻残暴的政权度过灾荒，能够回家安心生产就是了。因此他们占领了濮阳和颍川以后，一听说刘玄做了皇帝恢复了汉朝，就按兵不动。更始从宛城迁都到洛阳的时候，派使者去叫赤眉归顺。樊崇带着二十几个首领跟使者来到洛阳。更始帝敷衍了一下，把他们封为列侯，可是光有个空名没有封地，也不供应二十万赤眉军的粮饷。樊崇和首领们大失所望，他们找个机会都逃了回来。
公元24 年 2 月，樊崇率领二十万大军往西进攻长安。他们顺利地进了函谷关。刘秀得到报告后，就派邓禹去打樊崇。可是更始的大将朱鲔和李轶还在洛阳，随时可以打到河内来。刘秀拜寇恂为河内太守，又拜大树将军冯异为孟津将军，统领河上的兵马，防备洛阳那边。他这么布置完了，就拜邓禹为前将军，分给他三万兵马向关内进攻，自己率领大军去进攻燕、赵。
河内太守寇恂吩咐各县练兵，尤其是练习射箭。他用竹子做了一百多万支箭，养马两千匹，收租谷四百万斛作为军粮，源源不绝地运到前方去，他真是个“赛萧何”。孟津将军冯异这会儿独当一面，他也不再躲在大树底下了。果然，镇守洛阳的朱鲔、李轶听说萧王往北去了，就趁机会去进攻河内。