紀元前101年冬天，匈奴的且鞮侯單于即位，看到漢朝勢力遠達西域，害怕會遭到襲擊，便主動向漢朝求和，把過去扣留的漢人
使節，全部放回，同時傳話給天子：“我是兒子，哪敢埋怨漢朝的天子呢?天子就是我的老丈人輩嘛。”原來高祖劉邦，曾派公主下嫁匈奴，匈奴的單于自稱是漢天子的外孫，雙方的姻緣已經很早了。
漢武帝很高興，人家以禮相會，也該回禮才是。即派中郎將蘇武作大使，副中郎將張勝和常惠等人作副使，帶着大批禮物以及過去滯留在長安的匈奴使臣，一起送給匈奴單于。哪知且鞮侯單于態度傲慢，收下禮物之後，對蘇武一行人很冷淡。
如果不是發生意外情況，蘇武就會平安地回朝復命了。可他們到達匈奴不久，一批長期滯留的漢人想搞暴動，匈奴也有人參加進來。其中有個叫虞常的人，過去是副使張勝的朋友，想說服張勝支持他們。不料暴動很快失敗，牽扯到蘇武率領的整個使團。單于命令丁零王衛律，審理這個案子，總的意圖是逼迫蘇武一班人投降。
衛律是什麼人呢?他的父親原是北方胡人，在戰爭中流落中原，定居下來。衛律和漢武帝的小舅子李延年，從小是朋友，因為這層關係，被派為使者，到了匈奴。後來，李延年犯罪被殺，衛律怕受牽連，便投降匈奴了。他是胡種，又是漢使，雙重身份，極受單于寵信，封為丁零王，其實只占有丁零地方的一個游牧部落，實際是一群放牧人的首領。
衛律受命審理案件，擺好架勢，先把虞常殺死，再威脅張勝：“你是漢朝使者，公然煽動我們國內的陰謀分子，一起叛亂，罪不容誅；單于寬大為懷，只要你投降，就赦免死罪；不然，只怕死無葬身之地了!”說罷，舉起腰刀，裝出要砍的樣子：“何去何從，由你選擇!”
張勝慌亂極了，當即表示投降。衛律又向蘇武重演這一套：“副使有罪，正使不該連坐嗎?你說！”
蘇武問道：“本來就沒有同謀，又不是親屬，為什麼要連坐?”
衛律亮出佩刀，高高地揚起，裝出砍殺的樣子。蘇武只當沒看到，若無其事。衛律手一軟，丟下刀，請蘇武坐下，求道：“蘇公，我投奔匈奴之後，受到單于的尊寵，封賜王爵，奴僕成群，牲畜滿山，應有盡有，何等富貴!蘇公今天投降，明天也會跟我一樣呢。你若不聽勸告，徒然被誅，血肉只能作為牧草的肥料，有誰同情你呢?”
蘇武只當沒有聽到，毫無表情。
衛律又說：“蘇公就聽我的勸吧，你投降後，我倆結為兄弟，同享富貴。你今天不聽我的話，以後就是想要見我，恐怕也困難了。”
蘇武忍耐不住，猛然站起，指着衛律的臉，斥責道：“你是漢朝的使者，不顧恩義，背叛天子，投降敵國，我為什麼要見你?單于相信你，叫你決定別人的生死，你卻存心不公，反而大肆株連，挑動兩國的矛盾，坐山觀虎鬥，安的什麼心?你知道吧，南越人殺死漢朝使者，國家滅亡，如今已變成為九個郡；大宛王殺死漢朝使者，腦袋也被掛在城門頂；朝鮮殺了漢朝使者，馬上受到誅滅。現在只剩匈奴了，也想試試嗎?你明知我不會投降，卻故意挑撥是非，引起爭鬥。只怕匈奴的災難，要因我而發生了!”
衛律被搶白得啞口無言，灰溜溜地出去，把情況報告了單于。
單于越發要逼蘇武投降，把他關在一個大地窖里，不給飲食，也不准添衣服。
窖外冰天雪地，蘇武只有抓雪塊和着氈毛，勉強吞食。熬着，頂着，生死置之度外，整天躺下不動。好些天過去了，他沒有死。
匈奴人非常驚奇，以為他有神靈保護，將他安置在北海(今俄羅斯貝加爾湖)邊的荒無人煙之處，交給他一群公羊，並且告訴他：“公羊生了仔，你就回國去吧。”這些話就是叫你死心踏地，別再夢想回家了。跟着蘇武來的人，也都另行作了處理。
為了折磨蘇武，摧毀他的忍耐力，單于不給糧食。他就挖地老鼠，采草籽，摻和着吃，度命。
他抱着當初漢天子交給的節杖，每天在草原上放牧。漢朝的節杖，其實是在五尺多長的竹竿上端，纏着幾圈氂牛尾，染成紅色。雖不起眼，卻象徵皇帝的命令，代表大使的身分。節杖要是丟了，誰也不會承認你是漢天子的使臣。
蘇武抱着的這根節杖，因為日子太久，毛也脫光了。但是，每當他看着這根禿頭竹棍，一種精神力量，就在胸中膨脹，支持着他那疲憊不堪的身體。他暗暗告誡自己要活下去，等着熬着，度過這漫無止盡的孤獨年月。
歲月雖然漫長，黑夜白天總也在相互輪轉，日子還是要流逝的。蘇武不記年月，也不管節時，反正冰雪消融後，草又綠了；草枯葉落後，又是冰雪滿天。單于也偶爾派人來視察，繼續送些公羊，補充老死的羊群。磨呀，活呀，蘇武倒也安下心來了。
一天，突然來了一位客人，是蘇武當年在朝廷時的老朋友李陵。兩人相逢，一時說不出話來。
原來李陵作戰失敗，被逼投降，受到單于的厚待，受單于的囑託，帶
食物，專程來勸降。李陵原本不願見蘇武，可又不得不來。再說，當年的好朋友居然活着，怎不欣慰呢?不管怎樣，去看看吧。
兩人擺下酒食，談了一些離別後的辛苦，然後慢慢轉入正題。李陵開門見山地說：“單于叫我來勸你，不要徒然地再找苦吃了。你講忠誠信義，可誰會看到?誰又同情支持過?你的兄弟為了你的事，早被誅殺；不久前聽說你母親也過世了，妻子已經改嫁，兩個妹妹，兩個女兒，一個兒子，這些年來，都沒有消息。人生好比早晨的露水啊，何苦這般認真!我當初投降時，痛苦得簡直要發瘋，覺得對不住朝廷呀，辜負了天子的信任呀。可是，不久之後，我全家人被殺光了，連老母親也沒留給我呢。皇帝講人情嗎?記得你的忠誠嗎?子卿兄（敬稱蘇武），你折磨自己，可誰關心你呢?”
蘇武知道他說的是實在話，可他沒有動搖，請李陵打消勸降的念頭。一連幾天在一起喝酒，告別之前，李陵再次苦勸。蘇武嚴肅地答道：“我早就應該死的!你一定要我投降，我就死在你面前!”
李陵見他這樣堅定，不禁由衷地讚嘆：“老朋友，你是真正的義士，我和衛律的罪惡，上通於天啊!”不禁熱淚滿面，又送給蘇武一批牛羊食物，才告別而去。
過了幾年，李陵再來看望蘇武，把漢武帝去世的消息告訴了他。蘇武遙望南方，嚎啕大哭，連血也嘔了出來。每天早晚叩頭拜哭，一連好幾個月，表現出對漢天子的無限忠誠和哀悼。
幾年之後，匈奴內部很不穩定，衛律建議與漢朝和親。漢昭帝派人來問蘇武等人的消息，單于說他早就死了。
當時，副使常惠還在，悄悄地求見漢使，教他一個主意：說漢天子在打獵時，射下一頭大雁，大雁腳上套着一封信，信里說明蘇武在北海放羊。
使者第二天求見單于，用這個辦法質問。單于大為驚訝，只得實話相告，把蘇武接回來，連同以前扣留的不肯投降的使節馬宏，一起送回漢朝。
李陵設酒擺席，為蘇武送行：“子卿兄，你今天回朝，名揚南北，功蓋天下，古人沒有比過你的。我是個無用的人，當初皇帝若赦免我的老母，我一定要學曹柯要挾齊桓公，把單于逼得投降的!可是，皇帝殺我全家，不留半點人情，我說什麼好呢?子卿兄，過去的何須重提，我只是想讓你曉得我內心的痛苦。”說罷，站起身來，端着酒鍾，一傾而盡，隨即邊舞邊唱起來：
徑萬里兮度沙漠，(我度過萬里之遙的沙漠荒地)
為君將兮奮匈奴；(進攻匈奴為國出力)
路窮絕兮矢刃摧，(哪知彈盡糧絕山窮水盡)
士眾滅兮名已隤。（戰士全都犧牲，我的榮譽盡毀)
老母已死， (老母親已經去世)
雖欲報恩兮將安歸!(我想報答皇帝和母親，又怎麼能回去呢)
兩人都是淚水縱橫，情不能已。李陵一直把蘇武送到余吾河的橋頭，才黯然止步，望着老朋友的身影慢慢地消失在遙遠的南天。
這是一幕天人永恨的悲劇，後人感慨非常，稱為“河梁之別”，還寫了幾十首蘇、李惜別的五言古詩，委婉悱惻，流傳至今。成為東漢時期的典範之作。
蘇武回到長安，當時同去的人，經過十九年的折磨，只剩下九人重新見到了故鄉，多麼艱難痛苦的歷程啊！
漢昭帝先命蘇武去茂陵拜謁武帝的陵墓，也算是匯報情況，讓先帝放心吧。然後任命他為典屬國，類似後世的外交部禮賓司長，地位很低，僅僅做些迎來送往的瑣事。賜給他二百萬錢，二頃公田，一套住宅。這種待遇，是很不像樣的，因此，唐代大詩人王維為他不平，在《隴頭吟》裡寫道：“蘇武才為典屬國，節旄落盡海西頭!”
不過，蘇武卻成了鼓舞人們鬥志的精神象徵，南宋的民族英雄文天祥，在《正氣歌》裡，激昂地唱道：“在秦張良錐，在漢蘇武節。”稱讚蘇武，是中華民族的正氣！
（事據《資治通鑑》）
