大佛寺是一座汉传佛教寺庙。原古庙群沿红山脚下，由东向西排列：东端是大佛寺，中间是玉皇庙，西端是地藏庙。每逢庙会，红山的庙宇全部开放酬神演戏，朝供不绝。解放前夕，因为战争，一千多年历史的宗教胜地被毁，只剩下孤塔和大佛寺山门，一片荒凉。

    1989年扩建红山公园时，因古庙山门年久失修，濒临倒塌，文物部门将大佛寺山门按原样搬迁至山顶，并复建了大佛寺大殿、厢房、藏经阁。现在的大佛寺，主要建筑有天王殿、大雄宝殿、观音殿和地藏殿。
    过去，红山嘴断崖之下，有一条乌鲁木齐河，1785年和1786年，连续两年洪水成灾，红山附近的居民损失惨重，因此谣言四起：说红山和对面的雅玛里克山正在相互靠拢，一旦两山衔接，滚滚北去的河水将会被堵塞，乌鲁木齐就会变成一片汪洋大海。因此，清乾隆五十三年（1788年），乌鲁木齐最高军政长官尚安在红山和雅玛里克山的顶端各建了一座高约10.5米的青砖实心塔，名为“镇龙宝塔”。