张飞也看见了曹豹，自然是大怒，拍马来迎。战了三合，曹豹料敌不过拨马败走，张飞赶到河边，一矛正刺中曹豹后心，曹豹惨呼一声，连人带马，死于河中。
张飞虽然此刻酒稍微醒了些，但知道大势已去，已经无力回天了，便在城外招呼士卒，出城之人都跟随张飞望盱眙而去。
吕布则是入城安抚居民，命令令军士一百人守把刘备宅门，诸人不许擅入。
大雨滂沱之中，张飞引着数十骑，来到盱眙刘备军中，见到刘备，噗通一声跪地不起，刘备见张飞狼狈不堪，心中顿时一惊，急忙问道：“三弟不是在守御徐州吗？为什么到了这里来？”
张飞哽咽不已：“曹豹与吕布里应外合，将下邳夺去了！”
闻听此言，底下众将人人失色。
刘备叹道：“得何足喜，失何足忧！”
关羽问道：“嫂嫂安在？”
张飞道：“皆陷于城中矣。”
刘备默然无语，关羽顿足埋怨道：“你当初要守城时说的什么？兄长分付你什么？今日城池又失了，嫂嫂又陷了，如何是好！”
张飞闻言，惶恐无地，拔剑便要自刎谢罪，刘备早已向前抱住，夺剑丢到地上：“益德好生糊涂！我三人桃园结义，不求同生，但愿同死。现在虽失了城池家小，安忍教兄弟中道而亡？况城池本非我有；家眷虽被陷，吕布必不谋害，尚可设计救之。贤弟一时之误，何至遽欲捐生耶！”
说罢刘备放声而哭起来，关羽张飞也是感泣不已：“兄长说得对，留待有用之身，誓报此血海深仇！”
忽然士兵来报：“启禀主公，急报，吕布命令高顺带兵朝着我们这里而来！”
张飞听了，顿时大怒：“来得正好，兄长，待小弟整兵出马，前去斩了这高顺！”
“不可，我军在此已经与纪灵军相持多日，粮草已经告罄，倘若高顺与纪灵两相夹攻，我等死于此地矣！不如趁着阴雨撤兵，弃盱眙而走，东取广陵，再为基本！”
刘备拦住了张飞，沉声说道。
张飞无奈，只得压下心头怒火，与关羽一起整兵准备撤退去了。
高顺大军到来时，刘备军已经离去，只剩下了一座空营，正巧纪灵也带兵来到，高顺便道：“令主公邀吕将军夹攻刘备，吕将军已经依照约定为之，望阁下也能遵守承诺，将约定赠与吕将军的粮草拿出来吧！”
纪灵装作不知道道：“在下并不知有这事，将军且回军，容某见主公计之。”
高顺心里咯噔一下，这事纪灵怎么可能不知道，但是他又不可能真的抢纪灵的粮草吧？只好好言之后，撤军回下邳去了，纪灵则是继续指挥大军，追击刘备去了。
刘备引兵东取广陵，却被纪灵劫寨，折兵大半，糜竺将自己家资变卖用以军用，并让自己妹妹糜贞给刘备为妾，刘备感激之余，向附近百姓百姓购得军粮才没有全军都逃跑。
因为刘备是第一个用钱换粮草的诸侯，要知道其他的诸侯征粮无异于是明抢的，因此很快刘备的仁义之名传播开来，反而有更多的士兵前来投奔，多得都成了吕布的心腹之患。
高顺回见吕布，将纪灵的话如实相告，吕布不禁有些迟疑，这时陈宫来了，递给吕布一封书信道：“吕将军，刚刚收到的袁耀的书信！”
“念！”
“高顺虽来，而刘备未除；且待捉了刘备，那时方以所许之物相送。”
吕布听了，怒骂不已道：“黄口孺子，如此无信，我正好欲起兵伐之！”
陈宫立即劝道：“不可，此子据寿春，兵多粮广，不可轻敌。近闻刘备在南徐广播仁义之名，队伍反而日益壮大，不如请刘备还屯小沛，使为我羽翼。他日令其为先锋，那时先取袁耀，后取袁绍，高府君则不必再忧心冀州与淮南这两处了！”
吕布想想也对：“好，就照公台所说，令人赍书迎刘备回来！”
数日之后，刘备便收到了吕布书信，不禁喜上眉梢，关羽张飞倒是心中不快，恨声道：“吕布乃无义之人，不可信他。”
刘备道：“彼既以好情待我，我奈何疑之！”
于是命令整顿军队，克日启程便来到了下邳城外。
吕布早得到了消息，生恐刘备疑惑，先令人送还家眷。甘夫人见刘备，具说吕布令兵把定宅门，禁诸人不得入，又常使侍妾送物，未尝有缺。刘备让糜贞来见甘夫人，又对关、张道：“如何？我早知吕布必不会害我家眷也，现在我等入城去谢吕布好心收留吧！”
“哼，要去你们去，我不去！先奉两位嫂嫂到小沛去了！”张飞言罢，当真带人离去了。
刘备见状，对关羽道：“云长，益德一生气起来，就会喝酒，一喝酒就会鞭打士卒，你也跟着去，士兵们已经够辛苦了，可不要再被益德打死了几个！”
关羽有些不放心：“兄长，万一吕布有歹心呢？”
刘备笑了：“他还不至于这么傻！”
关羽想想也是，便也前往小沛去了，刘备入城来见吕布，吕布已经摆好了宴席，亲自向刘备请罪：“玄德不要多心，我非欲夺城，只因令弟张飞在此恃酒杀人，我恐有失事，故来守之耳。”
刘备心知这一定是陈宫教给吕布的说辞，面上沉沉似水：“将军做得对，刘备欲让将军久矣。”
吕布命人取来印绶，假意仍让给刘备，却是将之攥得紧紧，刘备看在眼里，只是再三推辞，宴席也没有参加，便借机离去小沛住扎了。