相传北方的大雁因惧怕塞外的凛冽的寒风，便成群结队往南迁徙，它们飞越千山万水，来到这块气候温和，风景秀丽的地方，安营扎寨、停歇栖息，待到来年春暖花开，又结队北归。这个地方就是历史的文化名城--雁城衡阳。“雁阵惊寒，声断衡阳之浦”，这是王勃的名句。“万里衡阳雁，寻常到此回”，这是王安石的句子。“衡阳雁去无留意”，这是范仲淹的名句。大雁作为一道独特的文化景观，频频出现在有关衡阳的诗句中。城南的回雁峰，虽然高不足百米，但登上峰顶，整座城市尽收眼底。因其为南岳七十二峰之首，天气晴好的时候，北望南岳主峰亦依稀可见，所以被称为南岳第一峰。关于回雁峰名称的来由，一种说法是因位于南北气候分界处而得名：传说时届凉秋，北雁南迁，至此停翅，待到来年春天再回去。古人碍于见识局限的说法，却得到了历代文人墨客的认同。还有一种说法是回雁峰拔地而起，势如飞雁回翔，因形状之奇而得名。不知从何时起，衡阳被人们称为“雁城”。
城西南有回雁峰，为南岳七十二峰之一。衡阳八景之一“雁峰烟雨实堪夸”，回雁峰北麓的烟雨池，传说每逢天将下雨，雾气腾起，状如云烟。其实烟雨池不过是一个小小的水池，里面稀稀疏疏的开着些睡莲。池畔的山崖上刻着明代诗人陈宗契的句子：青天七十二芙蓉，回雁南来第一峰。其时，山下的夹竹桃开得正好。按明朝图式复建的上达牌坊就在这一片花树的后头，上山登高须从此起步。绿色的琉璃瓦，拱形的山门，上刻麒麟吐须，狮子戏球，二龙戏珠，丹凤朝阳。拱门上的“上达”二字，相传是雁峰寺一烧火和尚用烧火棍所书。背后是民国初年衡阳书法家蒋钤衡的笔迹“莫作等闲观”，意在告诉人们莫要小看回雁峰，山不在高，有仙则名。峰上有雁峰寺为江南名寺，香火鼎盛。据史料记载，梁武帝天鉴十二年，宏宣法师建寺于此，梁武帝萧衍亲自赐名“乘云禅寺”。隋代为雁峰寺，唐代改名为山门寺，明清重建寿佛殿、大雄宝殿、大悲阁，梵宇森然，人称活佛道场。山上茂林修竹，清幽怡人。历代文人墨客如杜甫、柳宗元、徐霞客慕名而来。清代大学者王夫之也出生在这里，后来在此成就其思想体系。
衡阳市历史悠久，根据出土文物考察，五六千年前，我们的祖先就使用石器等原始工具，在衡阳这片土地上种植水稻，饲养猪、牛，过着定居的生活。
衡阳地域古属三苗、杨越，春秋时属楚国。
公元前221年，秦始皇统一全国将原楚国南部分为黔中、长沙两郡，长沙郡包括衡阳地域。
公元220年，孙吴于长沙郡东南设置湘东郡，郡治设在今酃县；并于长沙郡西部设衡阳郡，郡治设在今湘乡，下辖蒸阳（今衡阳县）、重安（今衡南县）、湘南、湘西（今衡山、衡东、南岳区）、湘乡、益阳等县。这是历史上第一次出现以衡阳命名的郡。
公元589年，隋灭陈，改郡为州，废湘东、衡阳郡，设衡州，将临蒸改为衡阳县，州城、县城均在今江东岸。这是历史上第一次出现衡阳县。
1942年元旦，衡阳市正式建市。
1943年衡阳市改为省辖市。
1949年衡阳全境解放之后，仍是市县并存。
衡阳位于湖南省中南部，湘江中游。地处东经110o32′16-113o16′32，北纬26o07′0527o27′24。东邻株洲、攸县、安仁；南界永兴、桂阳；西接冷水滩、祁阳、东安、邵阳、邵东；北靠双峰、湘潭。南北长150公里、东西宽173公里。