东汉名士严子陵曾游龙门，观山势异常，赞叹：“此地山清水秀，胜似吕梁龙门”，古镇也因此得名。龙门90%以上的村民是三国东吴大帝孙权家族的后裔，千百年来，经各房一代又一代的建筑，从一个大家庭的聚居地，形成今日的古镇。古镇建筑以两座孙氏宗祠为中心，共建有孙氏厅堂40多座，砖砌牌楼3座和1座古塔1座寺庙。镇内屋舍房廊相连，长街曲巷连贯相通，镇外的人进入镇里，如入迷宫。