北方的匈奴一直是汉朝强大的外患，武帝以前的各代皇帝均采取“和亲”的政策。至武帝时，繁荣的经济加上鼎盛的国力，反击匈奴的条件终于成熟了。公元前133年，汉朝与匈奴的友好关系宣告破裂。

公元前127年，匈奴军队袭击上谷等地，杀吏民数千人，并占据河套地区，对长安构成重大威胁。武帝派车骑将军卫青出兵云中发动突袭，歼敌数千人，获牛羊百 余万头，完全收复了自秦朝以来被匈奴占领的河套地区。然后在那兴建了朔方城，从内地移民十万人到朔方城定居，充实了边防力量，并成为反击匈奴的前沿基地。