不肯去观音院，位于紫竹林，紫竹林是观音修道的地方，里面有全山建寺最早的地方不肯去观音院。在潮音洞旁，有一堵黄色矮墙围着三间质朴的佛堂，佛堂中终年香烟缭绕，这就是不肯去观音院，可乘坐1号线到“紫竹林”下车。不肯去观音院于1980年得以重建。

“不肯去观音院”的来由：原本是由一位日本僧人，来中国九华山请观世音入住日本的因为日本人从未见过观音法相，所以前去九华山请佛。在请动佛之后，还差几海里就到日本的时候狂风大作，海浪涌起便歇下船，住在一个小岛上。但之后只要一航行船，就波涛汹涌，天昏地黑后来他觉得是观世音不肯入住日本。便在那个岛上建了一座观音庙，将九华山请来的观世音，放在了现在的普陀山，也就是现在的不肯去观音院。