最初，单于派卫律向苏武游说，许以丰厚的奉禄和高官，苏武严辞拒绝了。匈奴见劝说没有用，就决定用酷刑。当时正值严冬，天上下着鹅毛大雪。单于命人把苏武关进一个露天的大地穴，断绝提供食品和水，希望这样可以改变苏武的信念。时间一天天过去，苏武在地窖里受尽了折磨。渴了，他就吃一把雪，饿了，就嚼身上穿的羊皮袄，冷了，就缩在角里与皮袄取暖。过了好些天，单于见濒临死亡的苏武仍然没有屈服的表示，只好把苏武放出来了。单于知道无论软的，还是硬的，劝说苏武投降都没有希望，但越发敬重苏武的气节，不忍心杀苏武，又不想让他返回自己的国家，于是决定把苏武流放到西伯利亚的贝加尔湖一带，让他去牧羊。临行前，单于召见苏武说：“既然你不投降，那我就让你去放羊，什么时候这些羊生了羊羔，我就让你回到你的大汉去。”

在贝加尔湖，苏武牧羊长达十九年之久。十几年来，当初下了命令囚禁他的匈奴单于已去世了，汉武帝也死了，汉武帝的儿子汉昭帝继任皇位。公元前85年，匈奴起了内乱，单于没有力量再跟汉朝打仗，又打发使者要求和好了。汉昭帝派出使者来到匈奴，要求放回苏武、常惠等人。匈奴骗使者说苏武已经死了。