却说武帝元狩三年秋，匈奴伊稚斜单于起兵复仇，分为两路，每路各有胡骑数万，攻入右北平、定襄两处，杀掠人民千余人而去。单于得胜回国，料想汉兵必定来攻，遂与赵信计议。
赵信兵败降胡，单于因其在汉年久，熟知中国情形，甚加宠任，封之为自次王，以其姐嫁之，又筑城使之居住。赵信便教单于度过沙漠迁居北方，勿近边塞引诱汉兵深入，乘其疲困击之，必能取胜。单于听从其计，便将人畜悉数移至漠北居住。武帝闻单于移居之计，便召卫青、霍去病等议道：“赵信为单于设计北迁，以为我兵不能远度沙漠。我今大发士卒多备粮食，剿灭匈奴在此一举。”元狩四年春，武帝乃命大将军卫青、骠骑将军霍去病，各率马兵五万、步兵数十万、公私之马十四万匹，分道前进。武帝见霍去病胆略过于卫青，便选取敢战深入之兵给霍去病，命霍去病兵出代郡，卫青兵出定襄，约期度过沙漠共击匈奴。二将所领人马数目相同，惟霍去病部下却无裨将，遂用李广之子李敢等为大校，以当裨将。李广见武帝大举伐胡，却不命其为将，心中不悦，遂自向武帝请行。武帝道：“将军年纪已老，不可再临战阵。”李广一再固请，武帝沉吟良久方才应允，遂拜李广为前将军，与左将军公孙贺、右将军赵食其、后将军曹襄俱属于大将军卫青。卫青与霍去病领命，带同将士择定吉期出发。
卫青兵由定襄出塞，于路捕获胡人问明单于所在，自率大军兼程前进。却命李广与赵食其合兵取道东行，约期会合。
李广心想，东行路势弯曲多需时日，且沿途水草甚少，不能供给大队人马，且须分作数队缓缓而行，此明是大将军不欲我立大功，所以使我行此远路，于是对卫青说：“臣所部系前将军，当为先锋击敌。今大将军乃调臣使出东路，不知何意？且臣束发从戎即与匈奴交战，直至今日，臣愿率领所部效死前敌。”卫青闻言不允其请。李广便固辞不愿东行，卫青见李广违令，乃用强制手段命其遵令。李广心中愤怒，也不向卫青告辞，奋然走出，回到自己军营，会合赵食其领兵就道。
说起卫青与李广，平日并无仇怨，此次为何不令其为前部呢？只因临行之际武帝曾密嘱道：“李广年老命蹇。毋使独当单于，恐被单于逃走，不得成擒。”卫青既受武帝密嘱，自己又与公孙敖至好，公孙敖因前次出师误了军期，失去侯爵，现在军中为校尉，卫青意欲提拔他立功复爵，故调开李广，以公孙敖代为前部。李广不知武帝有此言语，只知卫青欲将公孙敖代己立功，因此愤愤不平。卫青打发李广去了，自己便催兵北进，行千余里度过沙漠。
单于探得汉兵来攻，却也惊慌，即忙准备迎敌。赵信献计道：“汉兵度漠远来人马疲乏，我可坐待其至信手擒来。”单于便将辎重送往北方，自率精兵驻扎漠北，远见汉兵到来，列阵以待。卫青防备胡骑驰突，下令用武刚车环绕为营。武刚车乃是一种兵车，车箱四围皆有板壁，上安小窗以备了望，旁开箭眼，四围环列刀枪，敌骑不得冲突，弩箭不能贯穿，算是当日行军利器。卫青立定营盘，先遣马队五千前往挑战，匈奴亦遣万骑迎敌。两阵对圆正待交战，此时日已将没大风忽起，吹得尘沙滚滚扑人面目，两军对面不能相见。卫青复遣骑兵数万分为左右翼前进，包围匈奴。两下交战良久，天色已晚，单于见汉兵甚多士马精强，趁着薄暮乘坐六骡，率领劲骑数百突围而去。汉兵不知，仍与胡兵力战至夜，彼此暗中相持，杀伤大略相等。
后来汉军左校捕得胡人，据说单于未昏之时早已逃去。卫青急发轻骑乘夜往追，自率大军继进。此时胡兵也战得筋疲力尽各自散去。卫青意欲追捉单于，率领将士疾驰一夜，马不停蹄直到天明，行有二百余里，竟不见单于踪迹。又前行至赵信城，得匈奴积谷。卫青入城驻军一日，人马皆得饱餐。到得次日，卫青见匈奴并无动静，不敢再行深入，遂传令班师。所余积谷尚多，于是放起一把火来，将赵信城烧个罄尽，然后起行。
卫青行至沙漠之南，方与李广、赵食其军队相遇。原来李广、赵食其由东路进兵，路径不熟，半途迷惑失道，以致迟误日期，此时方到。李广见过卫青，回到自己军中。卫青遣长史持了酒醪干饭赠与李广，问二将失道原因，并说要上书天子具报此种情形。李广明知卫青有意为难，未即对答。长史见李广不答，便到李广幕府内责备军吏，催其即作报告。李广闻知愈怒，便对长史道：“诸校尉无罪，乃我失道无状，我当自行上簿便了！”说完即趋至幕府流涕对将士道：“广自结发从戎，与匈奴大小七十余战，有进无退，今从大将军出征匈奴，大将军令广东行，迂回失道岂非天命！我今已六十多岁，死不为夭，怎能再对刀笔吏乞怜求生？”说罢便拔出佩刀自刎而死。一班将士出其不意抢救无及，便即为广举哀。后人有诗叹道：
老不封侯命可知，
年衰何必再驱驰？
漠南一死终无益，
翻使千秋得指疵。
却说骠骑将军霍去病，率领大军由代郡出塞，行二千余里，正遇匈奴左贤王率众三十余万前来迎敌。霍去病挥兵进击，连战数次，汉兵大胜，擒获匈奴属王三人，官吏八十三人，捕斩敌首七万余级，左贤王率领败残兵士逃去。去病奏凯而回。武帝大喜，下诏褒扬霍去病战功，益封五千八百户，部下诸将皆得封赏。李敢受封关内侯，食邑二百户。此时卫青亦率诸将回京，武帝因其不能追获单于，且所斩敌首不过万余级，与霍去病相去甚远，故卫青不得加封，连部下将士也无封赏。赵食其失道当死，赎为庶人。
是役两军共杀匈奴八九万人，而将士死者亦有数万人，公私战马十四万匹，及入塞不满三万匹。虽然胜得匈奴，所受损失也不少，武帝见霍去病战功高于卫青，而官位尚在其下，未免有屈，于是设置大司马一职，下诏命大将军卫青、骠骑将军霍去病，皆为大司马。自此以后，卫青宠幸日衰，霍去病日益贵盛。卫青故人及门下宾客见此情形，多撇却卫青来投去病。独有任安一人不肯变节，卫青始知其贤。