《说文》云“廷也”，即指宫廷的侍卫人员，以后寺人的官署亦即称之为“寺”，如“大理寺”、“太常寺”等。大理寺是中央的审判机关，太常寺则为掌管宗庙礼仪的部门。西汉建立“三公九卿”制，三公的官署称为“府”，九卿的官署称之“寺”，即所谓的“三府九寺”。汉代，九卿中有鸿胪卿，职掌布达皇命，应对宾客，其官寺”叫僧伽蓝摩，意思是“僧众所住的园林。”隋唐以后，署即“鸿胪寺”，大致相当于后来的礼宾司。相传东汉明帝时，天竺僧人以白马驮经东来，最初住在洛阳“鸿胪寺”。后来鸿胪寺改建，取名“白马寺”。于是寺就成了僧人住所的通称。梵语中，“寺作为官署越来越少，而逐步成为中国佛教建筑的专用名词。
             
      古代本是供祀祖宗的地方。那时，对庙的规模有严格的等级限制。《礼记》中说：“天子七庙，卿五庙，大夫三庙，士一庙。”“太庙”是帝王的祖庙，其他凡有官爵的人，也可按制建立“家庙”。汉代以后，庙逐渐与原始的神社（土地庙）混在一起，蜕变为阴曹地府控辖江山河渎、地望城池之神社。“人死曰鬼”，庙作为祭鬼神的场所，还常用来敕封、追谥文人武士，如文庙——孔子庙，武庙——关羽庙。

     祠是为纪念伟人名士而修建的供舍（相当于纪念堂）。这点与庙有些相似，因此也常常把同族子孙祭祀祖先的处所叫“祠堂”。祠堂最早出现于汉代，据《汉书·循吏传》记载，“文翁终于蜀，吏民为立祠堂。及时（指诞辰和忌日）祭礼不绝。”东汉末，社会上兴起建祠抬高家族门第之风，甚至活人也为自己修建“生祠”。由此，祀堂日渐增多。

              
     “观”《释名》云：“观者，于上观望也”。观就是古代天文学家观察星象的“天文观察台”。史载汉武帝在甘泉造“延寿观”，以后，建“观”迎仙蔚然成风。据传，最早住进皇家中的道士是汉朝的汪仲都。他因治好汉元帝顽疾而被引进皇宫内的“昆明观”。从此，道教徒感激皇恩，把道教建筑称之为“观”。

       

      庵古时是一种小草屋，即所谓“结草为庵”。旧时文人的书斋亦称“庵”，如“老学庵”、“影梅庵”。汉以后建了一些专供佛徒尼姑居住的庵堂，于是“庵”也就成了佛教女子出家行佛事的专用建筑名称了。寺、庙、祠、观、庵各有区别，不能混淆。