唐宣宗大中年间，有日本僧人慧锷，慕名来到大唐修习佛法。除了学习大唐佛法以外，慧锷还游历了大唐河山，而正是得益于慧锷的这番游历，才为后世留下了一段传奇。

这日，慧锷至五台山法华寺游览礼佛，只见法华寺大雄宝殿中，一尊白玉观音像玲珑剔透，浑然天成，不由得连连赞叹。慧锷一边看着观音像，一边又想到日本的僧人们，在那些人里，并无多少人见过观音的真容。于是他就请求方丈，将这尊观音像送给他，好让他带回日本，让日本的同门都看看观音的音容笑貌。法华寺的老方丈见慧锷言辞恳切，心地诚实，也就答应了他。于是，慧锷在满心欢喜地拜谢了方丈之后，便带上观音像，踏上了归国之路。

那时中国到日本的路程，走海路最为便捷，慧锷想要回国，自然也是要坐船的。不料，慧锷的船行至浙江舟山普陀岛附近，原本晴朗万里的天空，霎时间变得阴云密布，刚刚还波涛不惊的海面，也突然变得波浪滔天。慧锷把船停了三次，又启航三次，可还是不行，每次都是出发时万里无云，半路上狂风暴雨。到第四次时，甚至连船都开不动了。周围巨浪似山，狂风如魔，可那船就像生了根一般固定在海面上，一任船工如何努力，船就是一寸不移。

见此情景，慧锷起初大为吃惊，可一个转念，他又淡然一笑。只见他转过身去，对着身后的菩萨像合掌叩首而拜，心中暗暗祈祷道：“菩萨难道是不愿随我归国吗？果然如是，可速息风浪。”慧锷心中这番言语方毕，只见刹那间，红日复出，乌云尽散，大海也复归于平静。慧锷见状，心中叹息，无奈地说了一声“阿弥陀佛，弟子遵命便了。”于是慧锷便在这普陀山上停留了数年，靠着自身所带财物，还有向周围百姓化缘的钱，就在普陀山紫竹林内建起了一座观音院，并把那尊观音像留在了这里，而后自己归国去了。

观音不肯去日本，所以留在了普陀山上，故而慧锷所建的观音院，又被人们称为“不肯去观音院”。至今，浙江舟山普陀岛犹为观音菩萨道场，香火鼎盛。那尊从五台山南迁而来的观音像，也依然安详地坐在观音院的大殿之中，用她那永恒而慈爱的目光，关切地注视着她所爱护的世间众生。