李公祠的前楼为藏经阁，内藏《佛经》、《砂经》、《佛经汇编》等多种，还有《四库全书》、《四库备要》等大批珍贵古籍，1944年日军入侵时全部毁失。1963年11月1日公布为市级文物保护单位。

李公，字明远，唐代山东人，生于咸通九年（公元868年）。唐乾宁年间（公元894年—公元898年），官至大中中监察御史，为直谏被贬岭南道（辖五岭以南今广东、广西大部和越南北部地区），任浔州剌史。在任期间，政绩昭著，德化于民，民安居乐业。又慕西山景色的秀丽，遂在西山上，今称之为吏隐洞里隐居不出，羽化仙云。后人为怀念他的善政，给他立祠塑像，奉以香火，敬为神灵。《桂平县志》云：“郡昔患虎，民祷于神，虎死庙树间，益信其灵应。”

监察御史一职于隋开皇二年（公元582年）始设。唐御史台分为三院，监察御史属察院，品秩不高而权限广。监察御史分道负责，因而分别冠以某某道地名。监察御史掌管监察百官、巡视郡县、纠正刑狱、肃整朝仪等事务。

在李公祠前面有一棵大榕树，据说有500年树龄，直径3米余，高20余米。这棵大榕树散开的枝叶真是遮天蔽日。

在李公祠大门上贴有一副楹联，上联是：“人偕皎日，秋霜撑持南斗”，下联是：“天与清风，明月管领西山”。

我进入李公祠前楼藏经阁下的天井，迎面一对石柱，石柱上贴有一副楹联，上联为：“丰功久与思灵寿”，下联为：“名刹今从吏隐新”。上联落款：“道光四年（公元1824年）岁次，甲申仲冬”。

李公祠第二进右边圆拱门望向隔壁的三星殿院内观音像，在后堂供奉着李公坐像。在李公坐像左右两旁塑造了四组塑像，左边两组是李公走马上任和受到浔州百姓爱戴。右边两组是李公在西山上（吏隐洞）修炼成仙和李公成仙后并没走远，继续服务于浔州百姓，在塑像上写着：“郡昔患虎，民祷于神（李公），虎死庙树间，益信其灵应”。

李公祠第三进右边的八角门望向隔壁的三星殿，三星殿圆拱门外面是红色柱圆是广佑庙。

李公祠右侧为三星殿，里面供奉着幸福安乐和长寿的福、禄、寿三星神，他们执掌着人的幸福吉祥和长寿，在中国民间有着深厚的影响。俗话说：“人间福禄寿，天上三吉星。”三星神的形象和蔼慈祥，所以使人觉得可亲可近，中国民间百姓都新呢地称他们“三星老儿”。又因为他们是幸福长寿的象征，所以人们在对他们顶礼膜拜的同时，还将他们当作吉祥物进给新朋好友，从而使三星的信仰广泛深入中国民间。

三星神，中国民间信仰和道教神系中的福禄寿三星神，三星神源于道教的三官神，即天官、地官、水官。三官信仰源于原始宗教对天、地、水的自然崇拜。后来道教称为三元大帝，是三兄弟，上元大帝是天官，生于正月十五，所以正月十五元宵节也叫上元节；中元大帝是地官，生于七月十五，所以七月十五叫中元节；下元大帝是水官，生于十月十五，所以十月十五也叫下元节。三官都在其生日执掌神职，人们就在这三个日子拜三官，希望天官赐福，地官赦罪，水官解厄。但是后来演变成为福禄寿三星神。