吕梁孝义中阳楼楼为木结构，四层四檐十字歇山顶。通高23.14米。平面方形，座落于3米见方，1.5米高的四个石砌礅台之上。底层高5米，通穿四向。礅台设楼梯，列碑刻。二层高3.64米，建神台，列四方佛坐像。三层高4米，设莲花台，塑以5尺高观音大士泥像。四层高3米，为游人眺望全城之处。顶高4米，吻高2米，为琉璃制品。全楼上下于南北双向悬挂大小牌匾14块，皆为历代书法名人手迹。吕梁孝义中阳楼楼底内有碑刻6通，志记修葺事项。