赞陀因道行深厚，初至南诏即被国王罗凤册封国师。凤殁，异牟训于贞观九年，于阁老崖前两里原有古寺址上，扩大规模再建以供养赞陀弘法利生。寺院建成，观音菩萨踏空而至于虚空颂一偈：有为无为，有岸无岸，身居龙渊，心达彼岸。于是把寺命名为无为寺。到了大理国时期国王听经闻法，剃度出家修行和王室子弟习文练舞的圣地，大理国二十二位帝王中，有十个帝王于此出家为僧。除帝王外，段室宗室还有十五位皇族子弟出家无为寺，时为世间罕见。因《天龙八部》故事而广为人知的段誉又名段和誉（段正严），历史上正是出家无为寺。

明洪武十五年（公元1382年）明太祖平滇，大理段氏结束了被元朝的统治。此时，无为寺依然威风不减当年，不仅禅宗武僧高手辈出，而且由于当时特殊的政治历史背景，无为寺成为许多名人贤达和高僧大德，常常汇集于此。尤其值得一提的是，建文皇帝朱允炆逃到云南后，也曾一度躲到无为寺。

无为寺有八景:传说唐僧取经路过此地，曾在这里晒经书，所以有"晒经坡";无世祖忽必烈南征大理时，曾在附近驻兵，有"驻跸台"(帝王出行时沿途停留暂住称驻跸);明代，明太祖朱元璋的孙子汝南王朱有枥居大理期间，曾在无为寺听经学法，并写了篇《无为寺记》，刻在玉磬碑上，玉磬碑石口极高，叩之如敲玉磬，是镇寺之宝;寺后有一汪清泉名曰救疫泉，传说泉水可以治病;月衔桥、翠华楼、阁老岩，寺前800多年树龄的香杉树，于是，有人便把八景归纳为一幅对联: 坡曰晒经，风敲玉磬，趁日暖风和，跨过月桥登驻跸; 泉名救疫，树立香杉，爱山青树古，闲邀阁老步华楼。原门匾"无为寺"三字，为江西临川人书法家李瑞书写。清光绪年间，太和县令南海人刘安科游无为寺时，曾留下一副对联: 边城劫火曾经，此间楼滴翠华，驻跸争传元世祖; 树色溪声无恙，何处碑寻玉磬，挥毫空忆汝南王。 无为寺地境清，视野开阔，除八景还有五老樟，即一排五棵石峰列峙，就像寺的屏障，寺左右山峰怀抱，有如太极图形。