杲山寺历史悠久，遐迩闻名，且地理位置极佳，资财亦富。旧志载:“寺东有井，水甚清洌，绕寺有壕，壕外田三十八石，又培寺湖田十五石，下测围田三十石，莲湖田十二石。”民国年间，该寺属“长沙八大丛林”之一。1933年，该寺常住僧人15人，守如为住持。中华人民共和国建立后，寺宇失修，遂被陆续拆除。惟留老屋数间，后改作乌山供销社分店。1996年恢复为宗教活动场所。