相传印度孔雀王朝国王阿育王统治时期（前二世纪）大力推广佛教，编纂整理经、律、论三藏经典，派遣僧侣四方传教，甚至把王舍城大宝塔阿阇世王分得的佛主舍利分成八万四千份，“令羽飞鬼，各随一光尽处，安立一塔”。

据载中国共建造了十九座舍利塔，而今唯一保存下来一座就是阿育王寺的舍利宝塔。史载晋义熙元年（405），为了保护佛国珍品始建塔亭覆护，所以后人也有把此年作为阿育王寺的创始之年。

南北朝宋元嘉二年（425），建三级木浮图，并创建殿宇，初具寺庙规模。梁武帝普通三年（522），又兴建殿堂楼阁，并赐寺额为“阿育王寺”。

寺庙现存殿、堂、楼、阁六百余间，依山坡构筑，中轴线上依次为山门、二山门、放生池、天王殿、大雄宝殿、舍利殿、法堂和藏经楼，整体结构与传统佛教寺院相同，但多出“舍利殿”。

倒映在放生池中的天王殿、两棵古树遮蔽下的大雄宝殿、六面七层的仿楼阁式元代砖木佛塔和神态各异的五百罗汉都是很值得细细品味的地方，但最值得驻足的地方是存放佛祖真身舍利的“舍利殿”。

此殿始建于康熙十七年（1678），黄色琉璃瓦盖顶，殿前上方匾额 “妙胜之殿”为宋孝宗御题。

殿内保存石雕舍利塔一座，内置七宝嵌镶塔亭，塔身青色，五层四角，四面窗孔，每层雕菩萨神像，内顶悬宝磬，舍利珠挂在其中。

殿后壁嵌有四块唐代石雕“四大天王”，极为珍贵。

两侧回廊存有唐、宋、明、清、民国及现代碑刻数十方，其中唐范的所书大唐阿育王寺“常住田碑”，宋苏轼撰书“宸奎阁碑”，宋张九成撰写“妙喜泉铭”更是其中精品。

舍利殿后的法堂左右壁上嵌有清乾隆御题诗的十六尊者石刻、藏经楼收藏的清雍正版本的《龙藏》七千余卷和《碛砂版大藏经》等等，也是阿育王寺保存的众多文物中难得的珍品。

阿育王寺向南十多公里是著名的天童寺，该寺宋之后成为禅宗丛林重心，因时间紧迫而未能前往。