汉代的雁门，更是风云多变。汉高祖刘邦时期，匈奴曾南逾勾注，直驱晋阳（太原）。为此，公元前201年，刘邦亲率三十多万大军，抵达平城（山西大同），抗击匈奴。可惜，被匈奴用计诱入，困于平城白登山达七日之久，最后用重金财物贿赂了单于阏氏（匈奴王的妻子）才得以解脱。汉武帝继位后，面对匈奴不断猖狂的南犯，着手反击。汉朝名将卫青、霍去病、李广等都曾驰骋在雁门古塞内外，多次大败匈奴，立下汗马功劳。“猿臂将军”李广在做代郡、雁门、云中太守时，先后与匈奴交战数十次，被匈奴称为“飞将军”。一次，他出雁门，兵败被俘。在敌军两马之间的网兜里，他表面佯死躺下，心里却在等待机会。突然，他腾跃而起，将一胡兵推下马去，立即夺马取弓策马南驰数十里，复收余军，杀退追兵，安全脱险。正是由于汉武帝时期创建了强悍的骑兵抵住了匈奴的南犯，才得以保护中原先进的经济、文化的发展，换来了以后同匈奴的和睦相处。汉元帝时，有胆有识的王昭君就是从雁门关前簇后拥，浩浩荡荡，出塞和亲的。从此以后，这一带出现了“遥城晏闭，牛马布野，三世无犬吠之警，黎庶无干戈之役”的安定局面。
可惜，到了唐代，雁门古塞“胡”汉相争，群雄逐鹿，战事连绵。唐初，年事已高的薛仁贵为代州都督，镇守雁门。据说，突厥进犯云州时，薛仁贵曾率兵出击。阵前，突厥人喝问：唐将是谁？唐兵答曰：薛仁贵。突厥人以为薛仁贵早死而不信。仁贵脱盔示面，突厥惊视失色，兵而还。唐末五代，契丹（辽国）崛起于北方，危及内地。后晋石敬瑭向辽国自称“儿皇帝”，割燕云十六州与契丹。从此，在山西北部，雁门山就成为了后晋和契丹的分界线，雁门关也成为了中原王朝和少数民族地方政权相对峙的前沿阵地。
北宋初期，雁门关一带是宋辽（契丹人）激烈争夺的战场。著名爱国将领杨业（又称杨继业）及其他杨家将士都曾在这里大显身手，为国立功。在宋太平兴国四年（979），杨业任代州刺史兼三交驻泊兵马都部署以后，曾多次以少胜多，大败辽兵，当时人们誉杨业为“杨无敌”。雍熙三年（986），在雁门附近的战斗中，由于统帅潘美的指挥失误、临阵脱逃和挟嫌报复，使杨业陷入重困，最后士卒全部覆没，在朔州的陈家谷他自己身负重伤为辽兵所执，宁死不屈，终至绝食为国。后人为纪念他的战功和忠贞精神，在雁门关北口立了“杨将军祠”。
杨令公和佘太君的彩塑至今还凛然地静坐在雁门附近的杨家祠内。