此时，广州和武汉相继失守，处于大后方的湖南省战略地位异常重要起来，成为武汉之后的又一处抗战大本营。南岳衡山素有五岳独秀之誉，公路铁路水路交通异常便利。由国民政府军事委员长蒋介石亲自主持召开了“第一次南岳军事会议”，当时还邀请了中共中央副主席周恩来和八路军参谋长叶剑英。两党以民族大义为重，携手抗日。

　　在这个会议上，许多将领提到阵亡官兵多“暴尸战场”，不能掩埋，言者伤心，听者敛容。蒋介石听后对此非常痛心，会后把陈诚、薛岳两位将军叫来，郑重安排了修公墓的事。

　　后陈诚调任四川，而薛岳兼任湖南省政府主席，所以建公墓的事基本上由薛岳在主持。

　　由于此期间一直在与日军交战，加上勘察、征地、筹款等前期准备工作，一直到1940年9月10日，南岳忠烈祠第一期工程正式破土动工。第二期于次年11月5日兴工，至1943年6月全部竣工。7月7日，南岳忠烈祠举行了隆重的落成大典，主持者薛岳在忠烈神位前恭读祭文，郑重宣布“抗战以来，各忠烈将士，即日入祠，岁时奉祀”，第一批入祠的将领有张自忠、郝梦麟、佟麟阁、赵登禹等三十八名。

　　忠烈祠建成后，1944年，南岳沦陷，遭日军破坏;1949后，祠内许多民国军政要人题写的碑刻匾额大都在1953年到1956年被湖南省人民政府下令凿毁;1966年文化大革命开始后，南岳忠烈祠遭到红卫兵严重破坏，几乎所有的烈士墓都被挖掘殆尽，骨灰抛撒。

　　1984年，胡耀邦到此瞻仰，87年全国政协提出修复意见。直到1992年，由当地政府全面修复。96年被中央政府评为全国重点文物保护单位。