"衡阳雁"是古代诗词中的经典意象，许多脍炙人口的名句均与之相关，如杜甫"万里衡阳雁，今年又北归"、范仲淹"塞下秋来风景异，衡阳雁去无留意"等。

"衡阳雁"意象之所以生成，当与"雁不过衡阳"的观念有关。关于其成因，前人有几种不同说法：一是地势使然。南岳衡山有七十二峰，最南端即位于衡阳的回雁峰。古人认为回雁峰地势极高，阻挡了雁南下的进程，故而将衡阳当作大雁南飞之极点。这是想当然之论，衡山七十二峰中最高的乃位于回雁峰北面的祝融峰，南来的大雁能够飞越祝融峰，又岂能飞不过回雁峰？实际上回雁峰本身并不高，范成大曾亲自登上此峰，并云："登回雁峰，郡南一小山也。"借助现代地理学知识，我们更是能准确知道它的海拔只有90多米，根本无法抵挡住南飞的大雁。二是外形酷似。宋荦等人认为回雁峰的得名源自其外形如飞动之雁："衡州回雁峰因峰势取名耳，世传谬甚。"并附有明代胡贞开《回雁峰游记》中的解释："世传‘衡阳雁断’，其说有二：一曰山高，雁不能过；一曰江有毒，雁饮水死耳。浅人耳食，奉为信史，可笑也……盖衡之七十二峰，从洞庭叠翠南来，如飞如翰，奔八百里至湘江，而一峰夭矫回伏若雁之落，而乘风迅折，复起项领，羽翼翩翩欲动者，势使然也。"（宋荦《筠廊偶笔》）倪璠也曾说："或曰峰势如雁之回，故名。"然此种解释难与诗歌中的"衡阳雁"意象以及"衡阳雁断"等典故发生关联。三是气候适宜。《吕氏春秋·季秋纪》曰："季秋之月，候雁来宾……是月也，霜始降。"因此有人将雁与霜联系在一起，认为回雁峰以南气候极热，常年无霜、无雪，不利于雁的生存。《埤雅·释鸟》中说南地罕见雪，故雁飞不至："旧说鸿雁南翔，不过衡山。今衡山之旁有峰曰‘回雁’，盖南地极燠，人罕识雪者，故雁望衡山而止。"明杨本仁《九日虞山宴集短歌行》："桂海无霜雁不来，黄华紫萸触客襟。"桂海即南海，在衡山之南。这种观点看似有理，实则不通。仇兆鳌注释杜甫《归雁》时即曾发出疑问："今询之粤东人，却云有霜有雁。"虽然《吕氏春秋》提到雁来、霜降，但此处的"霜降"乃二十四节气之一，只是用以记载鸿雁南来的时间，而鸿雁的迁徙实与其地是否有霜并无必然联系。