传说在建响铃塔时，有许多故事在民间广泛流传。其中传说最多的是“兄妹比赛”。传说很久很久以前，家里有两兄妹，哥哥的手艺特特别奇巧，是当地有名的“能工巧匠”，尤其是建造的塔特别精致，在当地百姓心中有很好的口碑。他的妹妹也是当地有名的“针黹能手”，她在绣花、针黹上都有很高的技艺，尤其是鞋子做得很别致，使人穿上特别的舒服柔和，人称“巧妹子”。就在有一天晚上，兄妹俩聊天，妹妹对哥哥说：“哥哥，人们都赞扬你‘能工手巧’，咱们比一比、看一看，看谁的本领强，条件是你在一夜之间建起一座十二层的高塔；我做十二双鞋子，你敢比一比吗？”哥哥说：“那有什么了不起的，比就比。”傍晚时分天很快就要黑了，兄妹俩便开始了他们约定的比赛。兄妹俩都认真遵守着事先说好的上述约定，没有犯规的嫌疑，一切都按原计划执行。兄妹俩一直干到半夜时，哥哥的塔已经建了五、六层了，妹妹的鞋子也做好五、六双了，兄妹俩仍然坚持不懈地比赛着。兄妹俩干到快要天亮了，雄鸡也开始喔喔喔的叫了，眼看妹妹已经做好了十一双，哥哥的塔还有一层没有建起，因时间愈来愈紧迫，当妹妹的十二双鞋子做完的时候，哥哥眼看就要输给妹妹了，为了让妹妹心服口服自己的建筑才华，哥哥便做了一口泥锅，盖在塔顶上面，表现出一派开心得意的样子，嘿嘿！这一盖，更给塔体增添了建筑艺术上的完美效果，使塔变得更加美丽。天亮了，哥哥的塔建成了，妹妹的鞋子也顺利完成了，比赛到此结束。一大早，行人们在山间小路上，看到一夜竖立起来的高塔，都感到十分惊讶和好奇！妹妹这才打心底里佩服哥哥的艺术才华。

在当地民间，还有一段令人难忘的传说，就是在建响铃塔的当晚，塔建到快要天亮时，妹妹看到哥哥已经筋疲力尽了，生怕自己的哥哥会活活累死，妹妹便装雄鸡叫，这一叫，周围十里八村的鸡都开始叫了起来，哥哥以为天亮了，为赢得胜利，就在塔顶上扣了一面泥锅。这一数刚好是十二层，于是完成了预先的计划，比赛结束。后来在这塔院里驻进了僧人，僧人在塔上装上了风铃，只要微风一吹，风铃便叮叮铛铛响个不停。传说该铃音能传数十里远，故名“响铃塔”。正好塔下的石崖上开凿了数十个洞窟，原为寺院所在地，所以又名“鸿门寺响铃塔”