却说匈奴逃往漠北之后，专事休养人马练习骑射，久未犯边。但不时遣使者到汉请求和亲。后来贵臣来汉，忽得一病死于长安，武帝命路充国佩二千石印绶往送其丧，厚加赠遗值数千金。路充国到匈奴后，单于说贵臣是被杀死的，乃扣留路充国不让他去。当日被匈奴扣留者前后十余人，汉扣留匈奴使者彼此相当。
忽报路充国自匈奴归来诣阙求见。当下召入问明情形。充国行过礼后，方将匈奴事实约略上陈。
原来匈奴儿单于在位三年病死，有子尚幼不能嗣位，国人立他季父右贤王呴犁湖为单于。才及一年呴犁湖又死，弟弟且鞮侯继立。且鞮侯恐汉朝发兵进攻，乃自说道：“汉天子是我丈人，我乃儿子怎敢敌汉？”说着即将汉使路充国等一律释回，并使人护送且奉书求和。武帝闻言甚喜，也尽释所留匈奴使者，遣中郎将苏武持节送归，并以财币厚赠单于答其善意。
苏武字子卿，即前平陵侯苏建之子。苏建自与赵信征胡战败，赎为庶人，后复为代郡太守，病卒任所。苏武兄弟三人，自少皆以父荫为郎，后兄苏嘉为奉车都尉，弟苏贤为骑都尉，而苏武为栘中厩监。时李广之孙李陵为建章监，与苏武同为侍中，二人交好甚密。苏武此次受命出使吉凶难卜，特与母妻亲友诀别，李陵闻知也来送别，并作诗三首赠行。
苏武与副使中郎将张胜、属吏常惠及士卒百余人离了长安一路北去，到得匈奴入见单于，传达武帝言语，送还匈奴使者，并将财币送与且疑侯单于。单于本无意与汉和好，只因初次即位人心未定、又因汉使不肯投降，留在国中无益于事，不如放还，借此为缓兵之计。今见武帝赠以厚礼愈加骄傲，正欲遣人发送苏武归国，谁知忽然发生事故。
原来卫律素与李延年交好，李延年荐于武帝，武帝遣其出使匈奴。适值李延年犯罪被囚，卫律不敢回国便降匈奴。单于一得卫律格外宠任，封他为丁灵王。其部下虞常从卫律出使，不愿降胡，密与缑王商议，二人计议许久，苦于未得机会。此次苏武到来，虞常前在中国时与副使张胜相识，便与张胜密说道：“闻汉天子甚怨卫律，我能为汉杀之，吾母与弟在汉望得天子赏赐。张胜立即允许，并以财物赠与虞常。虞常自去预备。
一个多月后，单于出外打猎，只有阏氏和单于子弟在。虞常等七十余人起事前，一人趁夜逃跑，揭发了他们的计划。单于子弟与他们交战，缑王战死，虞常受擒。且鞮侯闻变驰归，令卫律严讯此案。张胜详告苏武，苏武愕然道：“事已至此怎能免累？我若对簿虏庭岂非辱国？不如早图自尽罢！”说罢拔出佩刀便欲自杀。张胜、常惠连忙上前拦阻，苏武被众人劝住不得动手，心里早决计安排一死。张胜等心中惴惴各怀鬼胎，但望虞常不将此事供出，便可保全无事。
谁知虞常被卫律严刑拷打痛苦难忍，只得据实供出。卫律将供词告知单于，单于召集贵臣议杀汉使。左伊秩訾劝阻道：“彼若谋害单于，也不过罪及死刑，今尚不至此，不如赦他一死迫令投降。”单于便召汉使并其从人到来听命。苏武闻召昂然前往；张胜、常惠也气愤地跟随而来。
卫律便传单于之命立迫投降。苏武听了对常惠等说：“我若投降匈奴屈节辱命，以后有何面目归汉。”说罢便拔刀自刺。在会众人大惊失色，卫律两手将他抱住，吩咐飞骑往召医生。不消片刻医生到来，苏武晕绝地上血流不止。医生就地上开挖一坑下置愠火，将苏武反面放在坑上，令人以足踏背使之出血。然后将药敷住伤口。也是苏武命不该死，医治半日渐有气息，
单于敬重苏武节操，早晚遣人来营问候，只将张胜一人收系在狱。不久苏武伤痕渐渐平复，单于屡次遣人劝降，苏武只是不肯。
虞常被判定死罪，到了行刑之日，卫律便想借此威吓苏武，于是排齐兵队请到苏武，又从狱中提出张胜、虞常。卫律先将虞常斩首，复向张胜说道：“汉使张胜谋杀单于近臣，罪亦当死，如肯投降尚可宥免！”说完即举剑欲砍张胜。张胜连忙自称愿降。卫律回顾苏武道：“副使有罪君应连坐。”苏武正色道：“本未同谋，又非亲属，何故连坐？”卫律将剑指定苏武，苏武依然不动。卫律见苏武全不畏死吓他无用，便又软说道：“苏先生何必固执。想我当年也是汉朝使者，因事亡入匈奴，不想受到单于恩宠，不仅封王，而且拥有数万民众，牛马牲口数不胜数。如果苏先生今日肯降，明日也会如我一般富贵。否则白白拿身体去做野草的肥料，有谁会记得你呢？”
苏武仍是毫无反应。卫律急了，继续抛出诱降礼包道：“先生今日若降，我愿与你结为兄弟。如果不听我的忠告，那么以后想再见我可没那么容易了。”
听卫律越说越不着调，苏武忍不住骂道：“你真是枉为人臣。汉家何曾薄待于你，你竟然忍心背弃君父。像你这样甘作胡虏之臣的货，我见你做什么呢？今天我肯定不会投降，还是请你杀了我吧。”
卫律一听羞愧不已，只好回报单于。单于听后更加钦佩苏武，越发想使其降顺。
于是单于就想折磨苏武，使其难以忍受不得不降。于是遣人将苏武安置于北海上的无人之处，使其牧养羝羊并且说道：“须是羝羊生子方得放归。”羝系牡羊向不产子。又将官属常惠等分别安置他处，使之不得相见。
苏武于是一手执使节，一手挥羊鞭，在这个人迹罕至的苦寒之地当起了牧羊人。
苏武在北海没有人供应粮食，只能自己动手丰衣足食。他很快掌握了一些鲁滨逊的技能，比如学会了挖掘田鼠窝，从中发现被它们搜集的果实。
为了提示自己不忘初心牢记使命，苏武无论起居手里都紧握着使节。时间长了，使节上面的牦牛毛都掉光了，苏武仍不肯放下。
不知不觉过了五六遍寒暑，苏武心想自己可能就要老死此处无望生还了。
谁知一日远远望见一大队人马簇拥而来，苏武久不见人，今得相逢，不问是胡是汉心中都觉欢喜。及至走近，乃是单于之弟于靬王，他听说北海禽兽甚多，于是率众前来射猎。见了苏武，知道他是汉使不降者。苏武虽然面上难掩苍老，但是眼神清澈，眉宇间透着一股执拗。苏武平淡地跟他讲了这些年自己的经历，还让于靬王看了看那个光秃秃的使节。于靬王敬其忠义心生怜悯。于是就张起毡帐驻在北海之上，日常领众四出射猎。苏武相聚日久彼此熟悉，闲时便替他们矫正弓弩，修理种种猎具。于靬王见其甚有才艺愈加爱重，便供给其衣食，苏武这才脱下身上破旧衣服换上新衣，弃却野鼠草实来食膻肉酪浆。
光阴迅速，又过了三年余，于靬王忽得一病自知不起，他怕自己死后无人供给苏武，便拨出许多牛羊用具等赐与苏武。于靬王不久身死，他部下果然移居他处，苏武依然剩得一人，邻近北海的丁灵人听说苏武牲畜众多，便率众前来偷盗一空。苏武的生活又复穷困。