唐．陆玑《毛诗草木鸟兽虫鱼疏广要》卷下之上：“《山海经》云：雁门山，雁出其间，在高柳北。旧说，鸿雁南翔不过衡山（注：衡山为地名，三国时吴置衡阳县）。今衡山之旁，有峰曰回雁，盖南地极燠，人罕识雪者，故雁望衡山而止。”

据《湖南通志》卷十一“山川”四及《读史方舆纪要》卷八十“衡阳县”载，回雁峰为衡山七十二峰之一。其峰势如雁回转，相传雁至衡阳而止，遇春而回。唐宋诗文中，多用为咏雁南飞而止于此。

梁．刘孝绰《赋得始归雁》诗：“洞庭春水绿，衡阳旅雁归”（《艺文类聚》卷九十一“雁诗”引）。唐．王勃《滕王阁序》：“雁阵惊寒，声断衡阳之浦。”宋．范仲淹《渔家傲》词：“塞下秋来风景异，衡阳雁去无留意。”均咏此事。