灵岙村志载：历史悠久，明、清时期祖先八股头筹建寺庵，初为三间茅屋作佛殿，清咸丰二年（1852）拆茅屋重建大殿5间，北以岩壁为墙，龙潭有“绿叶影黄墙，寻仙即采玉”之誉。大殿建成后，三开门，能面宽11.5米，进深7.4米，前檐四石柱，余皆杉木圆柱，择日起名为“护境寺”。民国《象山县志》载：仙灵庵在小灵岩山，县南六十里，乾隆间圮。道光末，里人俞正邦、正先、正乾、天银等募修，至咸丰三年，有碑。光绪二年，僧妙寂重修，光绪元年（1875），改护境寺为“仙灵庵”。时塑释迦牟尼佛、弥陀佛、药师佛，送子娘娘佛、千手观音等，庵主持僧青师管理。光绪年间，又建前殿地楼5间，出大门有台阶13级，宽2.6米，通新岙、小灵岩两村。民国间新岙村六房人俞心中六岁出家此庵，后亡故。最后是永胃师母亲主持管理（永胃师是天台国清寺和尚，抗洪救灾死于国清寺）。公社化后，被本县茅洋来的一风流和尚迫害上吊自尽，死时已80余高龄，茅洋和尚被逐出。是年，庵里一枚铜质老印章（印文为九曲回文）不翼而飞，一株种在院子东首的上百年的七彩茶花树也是不知去向。

小灵岩仙灵庵，由新岙俞氏族人所建，庵产管理不可一日无人，于是新岙村里推荐俞宝常管理4年有余，宝常过世后由俞官超管理七八年，期间老印章复又被送回。2011年秋，由县宗教局批准，仙灵庵释用慧（主持）、释用程（当家）管理。

在新主持的操劳下，2011年由新岙村至庵东边沙石路开始动工，2016年完工， 2012年拉进三厢电线。新庵重建于2017年8月18日奠基动工，大雄宝殿2019年建成，下三层为砼，第四层大雄宝殿为砼木结构。总投资千万元。仙灵庵更名为“仙灵古寺”。

当年，俞氏族人八股主头为首发动善男信女资助建庵。最多助良田7亩，少的1亩，最多的银圆50元，少的3元。至解放时，庵有良田28亩，旱地12亩。山100多亩。山林茂密遮天，为永久纪念建造仙灵庵的八股主头，规定每年农历正月十三吃中饭一餐，主食糯米麻糍，三年陈老酒，小菜素斋。

拜佛期定每年古历四月初十日，香客有宁波、奉化、宁海等地，县内各地甚多，热闹非常。逢农历初一、十五，拣子择日、求签问卜，烧香插烛者甚多。