1951年，衡山县把部分乡镇划分出去，设了个南岳特区。到了1952年，南岳特区又回到了衡山县。1960年设立了南岳管理局，接着1963年正式成立南岳县。1966年，南岳县又并入了衡山县。到了1984年，南岳区才重新设立。这一系列的拆分和调整让衡山县的范围缩小了不少。1966年还从衡山县划出一部分给衡东县，湘江以东的地盘都归衡东县了，剩下的地盘就很小了。现在的衡山县面积只有935平方公里，常住人口三十三万。经济总量在衡阳市七个县市里面垫底，发展比较慢。以前以南岳衡山为核心的风光现在早就没了，只剩下一个不起眼的小县城。不过现在有些专家提出可以考虑和南岳区、衡东县合并，打造一个更强大的衡山县甚至变成县级市。还有人说既然有衡山还有南岳区，不如合在一起叫衡山区更好记。不管能不能实现吧，现在大家都在讨论这些新思路。这个曾经辉煌的县可能在未来找回一些荣耀吧。