水洞沟往东延伸的如同刀削斧劈的大峡谷之上，挺立着历经五百年风雨剥蚀而巍然不倒的红山堡，堡城和隐藏地下的藏兵洞一起构成长城立体防御体系的组成部分。红山堡建于明正德十六年，驻军最多时达一千二百五十一名，设守堡将军一名，领烽堠八墩。蜿蜒曲折于悬崖土壁之中的藏兵洞是红山堡守军由地上转入地下时隐蔽军队、待机出击或在空旷处设伏兵的地道，据说现已清理出三千多米，约占洞道总长度的七分之一。藏兵洞共有两层，上下相通，分叉左右相连，暗道机关密布，幽深诡谲莫测，洞道内辟有大小土屋供人员居住、开会和储藏兵器火药，还设有粮食存放室和水井、灶房等完备的生活设施，因高出洞外沟底十多米，多年来既便爆发山洪也不曾被水所淹。红山堡与藏兵洞连接为一个整体，是国内发现保存最完整的古长城立体军事防御体系，曾在明中叶以后防备蒙古人入侵中发挥过重要军事作用，据说鞑靼、瓦剌部数次由灵州至盐州间拆墙南下寇掠灵州宁夏（今银川地区），但从未由此处攻入过。