湘峪古城依山而建，分为内城和外城，城内主要建筑由东西向两条街和南北九条巷道将其分割有序。是一个完整的城堡式建筑。现存主要建筑有三都堂、帅府、十大宅院、大小男院等民居建筑以及寺院、祠堂、私塾等公共设施。另外还有孙居相墓等。湘峪高楼为同时代的高楼中最早的，比皇城河山楼，郭峪豫楼均早一些，对明末的农民起义军大破坏起了一定的抵制作用。古城分为内城和外城，城内主要建筑由东西向两条街和南北九条巷道将其分割有序。  湘峪村过去是个只有几十户人家的小村，因此城堡的规模并不大，南北长近300米，东西宽约100余米，面积3万余平方米，与灵石王家大院、碛口西湾民居面积相当，略小于阳城的皇城相府和砥洎（音底级）城。湘峪古城城墙建于石壁和陡坡上，高度在十余米至二十余米之间，显得极为高大宏伟。站在远处仰望古城，可以看到城墙和城内房屋上的拱型窗孔， 密密麻麻，有如蜂窝，民间谓之“蜂窝城”。古城共开三座城门，西门已毁，现存东门、南门。涉过湘峪河，爬上平行于城墙的坡道，便进入了南门，坡道在门内呈直角形，拐了一个弯后继续爬升。门洞里面建有一堵石墙，位置和作用与民居中的影壁相似，南门的“宸薰”门匾并没有出现在门外，而是镶嵌在这堵石墙上，这在山西众多古城、古堡中尚属孤例。这样做的原因，据说是出于风水上的考虑，同时在军事防御上也有一定的作用。外来者从对面樊山的制高点或是远处其他地方是找不到南门的，因为门洞上没有门匾，而城门和门洞内的石墙，从远处看在视觉效果上已经合为一体，仿佛是一段完整的城墙。湘峪城内的街巷为“五纵三横”的棋盘式格局，不过，这些街巷大多并不是笔直延伸、相互垂直，而是顺应地势的走向或是有意弯曲成一定的弧度，有些地方甚至连续出现两个九十度的拐弯，其军事防御目的非常明显。因为年代久远和缺乏维护，现在，古城内“五纵三横”的街巷格局已经很不明显，但是，中街和一些小巷仍然完整地保留着古朴的风 貌，条石或磨盘石铺路，两侧是一座座紧紧相邻的院落，中街上，还建有两座过街楼。在一个丁字街口，正对小巷的砖墙上方，镶嵌着一座砖雕照壁。在民居建筑中，把“泰山石敢当”石雕镶嵌于墙壁下方的做法非常普遍，但这种将风水照壁高悬于三层楼房的墙壁中央的建筑手法则非常少见。遗憾的是，照壁中央的砖雕已经被人偷走，据村民说， 砖雕图案以麒麟为内容，后来它出现在附近一座开发过的城堡式民居建筑中。除少量近年新建的民居外，城中建筑大多建于明末，这些民居以三到四层建筑为主，古朴雅致，宏伟气派，走在窄窄的小巷中，给人一种高楼林立、鳞次栉比的感觉。城西一带还建有宗教、祭祀建筑，因其地势较高，显得很突出。过去，这里曾是湘峪小学所在地，如今已经封闭。城中的主要民居“大男院”“小男院”“帅府院”“金库院”“绣楼院”“书房院”等院落。从建筑形式和建筑风格上来说，湘峪古城的民居建筑与其周边几座古城、古村相似，但其正房更为高大、高层建筑更为集中、气势更为恢宏，同时，它还拥有自己的特色，那就是中西合璧的建筑装饰形式。湘峪民居的窗户多采用拱券式窗孔，窗孔外墙饰以“眉檐垂柱”的砖雕，这是一种已经汉民族化但仍然带有浓郁西式风格的装饰形式。城西一带还建有宗教、祭祀建筑，因其地势较高，显得很突出。