一般寺庙庵堂建址,多选于远离闹市的僻山静林。一是便于出家人在幽静之处修身养性,学经悟法,“戒除尘世之尘念,验体我佛之高远”;二是使信徒们在长途跋涉的膜拜中察体“肉身凡世之痛苦,佛法清净之乐土”。如大兴禅寺建于嵩云山中,大树参天,云雾萦绕,朝闻兽鸣,夜听松涛。天柱峰寺远离市区十余里,临河倚峰,上山不易。更远的是弥岩尖的道教密云观,崎岖陡峭无比,一条羊肠小道连爬三座山峰,一览众山小,为洪江最高峰,寺院山门直插云霄,甚为巍峨壮观。这种现象十分普遍,无论本地或省外,乃至国内、东南亚,鲜有将寺庙建于街埠闹市之中的。然而,十分奇怪的是,大佛寺却是一开始就建于古商城繁华喧嚣之处!岂不怪哉?
据洪江地方志载:佛教传入本地始自明朝万历四年(1576年),以来自衡山的慧海和尚发起建造大佛寺庙为标志。但据大兴禅寺僧侣相传,此前已有郝姓无意法师在嵩云庵(大兴禅寺前身)讲经说法多年,然不成气候。到慧海法师来洪时,洪江已初具“商城大镇”规模,大量外地汉人涌入,外省人有江西、安徽、福建、贵州等,本省人人口以宝庆(邵阳)、湘乡、辰溪、沅陵人为多,洪江成了他们发财的淘金宝地。此时已出现了同乡会馆,行业会馆,同乡祠堂等,佛教在汉人中的影响亦随之带入本地,故慧海和尚只“化缘游说数月,得善款上万两,油号木行所捐十之八九”。这些外地人惧畏洪江“坡陡山高”“拜佛不易”,最早提出了将寺庙建于市井的要求,这自然遭到慧海师徒的断然拒绝。当时这些最有势力的油号和木行商贾即以撤资相要挟。慧海和尚不为所动,称“纵使香油也成殿”,决心积攒香油钱也要建成寺院。不久,一些行业公会的老板们聚集一起到嵩云庵,向慧海法师道歉,提出将寺庙建于稍远一点的岩码头街道(洪江明末时最繁华的是现巫水路沿河一条街,即现今大桥头至影剧院一线,清朝中后期古商城重点才移至现沅江路一带),并“增捐银钱数万,专辟佛事码头,利船登岸拜佛”。于是,就有了大佛寺码头。“商贾大行慈心让地,遂使码头正对大佛寺”,在犁头嘴至炮步桥的十数个油号、木行、大烟等商家的专用船运码头之中,大佛寺码头硬是挤出了一块黄金地皮,使码头正对着大佛寺,且码头“最是宽绰气派”,全部用“长三至四米”的条石砌成,是当时最有实力的江西码头的“宽有两倍有余”。