灵山大佛下有一小院，青砖素瓦，掩于绿树修竹之中，小门上书“无尽意”，不解，迈步进入小院，方知此小院是为纪念赵朴初大师而建，以大师北京“南小栓一号”故居为蓝本，采用传统砖木结构，据说所有材料取自北京本地。“无尽意斋”是赵朴初大师的书斋名，更是他在北京故居的代号，故小院取名“无尽意”。

小院很小，几簇修竹植于墙边，佛乐轻柔穿入心扉，静而安，时光仿佛止于此。房内有大师的生平简介，墙上挂有大师的书法，厅中是大师的照片，慈爱的目光给每一个进来人以祝福。

据说大师对灵山情有独钟，推动了灵山大佛的修建，大佛开光时赵朴初以中国佛教协会会长的身份，发表了书面讲话，正式给灵山大佛确定了历史地位。同时阐述了“时空无尽、世界无尽、众生无尽、诸佛无尽”，的理念，以此为据提出了五方五佛概念，为灵山大佛确立了独特地位。灵山大佛如此盛名，不是因为其高度，不是因为其工艺，应是赵朴初大师的威望。