关于一百零八塔的建造有很多种传说，有传说称是北宋百姓为了纪念当年穆桂英点将所建；有传说称是明初当地百姓为纪念在此战死的108名将士所立；有传说称这里只是108座和尚的骨灰塔，也有说法认为这只是尊仰《金刚经毗卢遮那一百零八尊法身契印》而建造的。

一百零八塔的确切建造时间没有明确的文献记载，这导致在其相关研究中一直有两种论断，一种是认为建造时间在宋朝至清朝之间，另一种则认为建造时间在元朝。

    在明朝和清朝的文献中，一百零八塔都可以找到明确的记载。清顺治五年（1648年）时，当地对塔群进行过一次大的维修，中华民国时期也有过专门的维护。塔林下原建有2座小喇嘛塔，2塔皆由塔基座、塔身和塔刹三部分组成。此外塔下还有一座古寺遗址。