《户县地名志》记载，相传此地昔有一座小山，孤立于平地之中，人称：“零山”，唐代佛教盛行时，凿零山成佛像，并修筑寺院，取释迦摩尼西域讲经处“灵山”而命寺名;清朝康熙年间《户县志》寺观栏载“灵山寺，在县东南。村子倚寺而建，得寺名为村名：灵山寺村。

现在看到的寺庙已经是重新翻修过的，庙内外很干净，有献殿、正殿、后殿各一间，两侧各有厢房三间，是僧人的住处。正殿供着释迦摩尼金身塑像及大小护法，后殿供着观世音菩萨，菩萨手持净瓶，很干净的笑着。院内植有树木，各树上均挂有或斑驳或簇新的红布带。大殿两侧各摆有几盆莲花。