据考证，泰山寺兴建于明朝嘉庆年间，当时叫“显济庙”，供奉的是碧霞元君。清朝乾隆四十三年即1778年，徐州知府永龄将其更名为碧霞宫，即俗称的“奶奶庙”。

说起“奶奶庙”的来由还有段动人的传说。据说，很久以前，徐州一带遭遇了一场严重的瘟疫，死了很多人。一些有钱有势的人，骑马坐轿的来到徐州六七百里地的东岳泰山，求东岳大帝为其保佑，而许多贫民百姓则没有盘缠钱只好在家坐以等死。而东岳大帝之女，心地十分善良碧霞元君，俗称“泰山奶奶”当时年仅十五六岁，得知这一情况，非常焦急，欲拯救处于水火中的灾民，决定自己独自前往徐州为更多的百姓消灾除害、解难。但家人考虑她年纪尚小且只身一人，放心不下，没能同意。这可急坏了小碧霞，此时曹舅爷知道后表示愿意护送泰山奶奶前往徐州。经过长途艰辛跋涉及一路上舅舅的悉心照料，二人终于来到了徐州并很快降服了瘟神，也为从四方赶来的百姓治病收灾。人们为了纪念泰山奶奶功德，特意为她建立了殿堂。同样，曹山舅不仅护驾有功，他也为人憨厚，性格耿直，乐善好施，疾恶如仇。人们也不会忘记曹山舅，娘娘殿建成后，人们又建了曹山亭，里面端坐的是曹山舅的塑像，从此常年在山下一条上山的路口守护，严防妖魔上山搞破坏，并向人们讲述“做善得福，做不善遭殃，因果报应的道理，劝化世人回心向善”。

沿着蜿蜒的盘山小路拾阶而上，曲径通幽。山路的两边密密麻麻林立着参天大树，每隔数十米，就有一座长方形的水泥平台，供人们休息、消遣，进入泰山寺走不多远不远，就到了天王殿。天王殿是佛教寺院的第一殿堂，因供奉四大天王而得名，殿中端坐的是笑口常开的弥勒菩萨，佛经称其为继承佛祖释迦牟尼佛位的未来佛。弥勒佛是中国民间普遍信奉、广为流行的一尊佛。据说此佛常怀慈悲之心。弥勒菩萨的背后是身披盔甲，手持金刚杵的护法卫韦驮天将。左右两侧为威武刚强、高大雄壮、现怒目相的四大天王。左侧第一尊为东方持目天王多多罗吒；第二尊为南方增长天王，名毗楼勒迦；右侧第一尊西方广目天王，名毗琉博叉；第二尊为北方多闻天王，名毗沙门，民间俗称四大金刚。喻为风、调、雨、顺，寓五谷丰登，天下太平。继续前行，路的左侧是地藏菩萨的像，右侧则是观音洞，观音洞上端是座宽大的亭子。

而正前方是规模宏大的大雄宝殿。登临山顶，极目远望，视野宽阔无比，景色十分壮丽。观日出、云海、晚霞，令人兴奋不已，徐州的美景尽在眼底，心旷神怡之情顿时油然而生，颇有会当凌绝顶，一览众山小的意境。泰山寺的大雄宝殿是徐州地区规模最大的大雄宝殿据悉，方圆10公里内都可看到大雄宝殿的雄姿。 重修的大雄宝殿投资500多万元，都是泰山寺自筹的资金，规模是过去的20多倍。大雄宝殿主殿长25米，宽20米，高19米，占地面积500多平方米。

大雄宝殿的建成，使得整个泰山寺纵深300米，宽100米，依山势形成三进院落，从前至后依次为天王殿、大雄宝殿、碧霞元君殿。

而泰山寺的最顶端就是名闻遐迩的碧霞元君殿（民间也称泰山娘娘殿），大殿左右两边皆是规模不小的配殿。泰山奶奶殿前的香炉则是烟雾缭绕，一年四季，来此上香、叩拜的善男信女是络绎不绝。

泰山奶奶殿规模宏伟，气势不凡。大殿正前是香炉等设施，平日里是烟雾缭绕，香火鼎盛。大殿前端左右两方皆是配殿，大殿的屋顶全部盖孔雀蓝琉璃瓦，正脊、垂脊和戗脊等以黄、绿两色为主楼空雕花，装饰丰富多彩、华丽气派，殿内的正方是三尊与真人大小相当的泰山奶奶的金色坐像，披着红色披风，挽着发髻，面目慈祥，和蔼可亲。泰山奶奶很灵验，人们也赋予了很多的美好传说，泰山奶奶心地很善良、富有同情心，只要你是诚心向她老人家祈祷、许愿，泰山奶奶多会帮你排忧解难，但是许愿后要是应验，不要忘记给泰山奶奶还愿。泰山奶奶喜欢美，还愿时除了要给老人献上五色水果，还要再给奶奶买束鲜花。

按照有庙就有庙会的常理，可以推断泰山庙会的形成应在奶奶庙建成之后。每年农历四月十五日为泰山庙会，也是庙会的正会，其后两天是偏会。这也是一年中最热闹的几天。四邻八乡的善男信女都云集于此给泰山奶奶敬香磕头，乞求平安。而民间依然流传着“上山不拜曹山亭，泰山奶奶不知情”的说法。所以，来泰山要先拜山脚下的曹山亭。这也是徐州泰山文化的一大亮点。四面八方的敬香者纷纷来到泰山庙，朝拜“泰山奶奶”，以求多子、多福。逢会期间，敬香者不仅涉及所属六县（市）、五区，而且鲁南、豫东、皖北一带的善男信女都来此朝拜。这充分体现了佛教文化的“诸恶莫作、众善奉行、大慈大悲、普渡众生”的精髓的深入人心，也反映了人民群众对平安幸福生活的向往和渴求。