公元前54年，匈奴呼韓邪單於被他哥哥郅支單於打敗，然後南遷至長城外的光祿塞下，《漢書·匈奴傳》記載甘露三年，匈奴呼韓邪單於“自請願留居光祿塞下，有急保漢受降城”。
後來單於想同西漢結好，故三次進長安向漢元帝請求和親，《漢書》記載漢元帝賜親，但《後漢書》則記載王昭君是自請出塞願意和親嫁於呼韓邪單於，當時呼韓邪駐於光祿塞下，所以昭君所出之要塞即是光祿塞。
漢匈的邊界壹般都是以長城為界。歷史上沒有留下昭君出塞明確線路圖的記載，後人根據考古發現，推斷昭君和親走的路線圖是從長安出發，向北走到榆林，鄂爾多斯向五原方向。
所以不是具體指的那個要塞，是指的出了邊界。有人臆想要塞是雁門關，其實真的不會走雁門關這條線路，因為當時呼韓邪單於的王廷在五原郡，今包頭周邊。
多少年過去了，昭君出塞的故事壹直流傳至今。代縣人民為了不忘這位曾為民族和諧做出犧牲的絕代奇女子，特在雁門關上修建了落雁塔和落雁池，供遊人觀賞和追思。