青芝寺是国内独一无二呈中西合璧、外西内中的特有建筑风格的寺院。明代开辟青芝百洞山景区的董应举解释寺名道：“因芝纪瑞，借寺标奇。”如今在山门亭上还有一幅对联：“寺产灵芝闻海外，山称百洞重江南。”

        青芝寺始建于唐贞观十五年（641年），原建在八仙岩西侧。明万历四十三年（1615年），吏部考功郎中董应举（塘头人）辞官归里，开辟百洞山景区，把寺也迁到今址。董的好友叶向高（福清人，官至宰相）、李廷机（号九我，晋江人，官至东阁大学士）曾同住青芝读书和咏诗，留下不少摩岩石刻。董应举在《重建青芝寺疏》中盛赞青芝为“龙拏虎蹲，岩壑踊而争雄；阴豁阳收，日月留而不去。自非天作，决无此奇；必仗德心，乃成厥胜”。清光绪十三年（1887年），兴福禅师增建了大士殿（后殿）、梅花楼。大士殿双坡顶，单层木构，面宽三间，深5柱，殿前两侧建钟鼓楼，悬山顶，木结构双层，雕刻精致。

        青芝寺外观呈西式楼房，采用西方立方体的建筑轮廓和穹窿窗户轮廓，材料也由砖石木结构代替传统的木构架承重方式，外墙底部用方整石块砌至1.6米，上面用青砖砌成，宽四扇三间，深五柱二间，双坡顶。大门两边分立两方碑刻，左为《扩建青芝寺碑记》，右为《大清嘉庆癸卯年（1783年）二月吉旦立》碑，可惜历经风雨沧桑，大部分的字迹都已风化脱落，模糊不清。

        大殿的中央设有高座佛龛，供释迦牟尼及阿难、迦叶二尊者，皆由林森在南京雇用能工巧匠用楠木雕刻，尤其是释迦牟尼是一整块特大楠木精雕而成，肃穆慈祥，与东觉岩下的“白玉佛”、大士殿供桌上的“特大竹节灵芝”合称“青芝三宝”。

        民国十二年（1923年），刚担任福建省主席三个月的林森在“倒林拥萨”风波中下台，应挚友、琯头绅士、琯江徵社发起人林焕章(曾任厦门公安局长、福清县长等职)之邀来游青芝，夜宿青芝寺左侧“梅花楼”（徵社社址），并结识住持觉非（台湾新竹人，1911年由南洋渡海至青芝，遂驻锡于寺，1939年圆寂）、徵社陈彦超等，因羡青芝胜景，遂购地筹建别墅“啸余庐”，并自号“青芝老人”，民国十五年（1926年），在南京筹建中山陵的建设部长林森返回青芝山，委托蒋源成营造生冢，定名为“参议院议长林森藏骨塔”。民国二十年（1931年）大雄宝殿（前殿）毁于火灾。二十一年（1932年），新任国民政府主席的林森委托林焕章、陈彦超等人筹建，并亲自设计建筑图案，在南京雇请江浙一带能工巧匠，将有千年树龄的整棵楠木雕刻成大雄宝殿五尊佛像，二十二年（1933年），林森返闽祭祖，重返青芝寺，楠木佛像也同时上山贴金安放。二十三年（1934年），一座新颖独特、中西合壁的大雄宝殿建成。事后，林森、福州《建言报》社长林雨时与土木领班人还于寺前合影。

        1984年10月，界修法师从中国佛学院毕业后住持青芝寺，得港澳等同胞赞助，于翌年刷新殿宇，扩建客房、僧舍、斋堂等。1990年，界贤法师应界修法师之邀前来住持青芝寺，先后盖起大悲阁、选贤楼、玉佛阁等，寺院建筑面积扩大到1700平方米，规模居全县寺院之首。