磨香寺在银山镇的山赵村村东不远处，现已是残垣断壁，仅有石质钟楼一座保存完好。

磨香寺的山门在大殿的西南角。

寺庙分为东西两个院落，中有门相通。西院现存有前后殿。大殿早已坍塌，内有石柱四根，上面有捐献者的名字。石柱上的纪年为明万历十二年（1584年）。

东院有藏经阁，双层，砖石结构。

院南有钟楼一座，全石质，起脊翘檐，四石柱，从题记看为明代万历四十六年（1618年）由由进士宋祖舜、布政司省祭官郭汴、陆修业、牛孕祥等捐资修建。石柱上有联曰：“鹫鸟炼石楹撑十三万诸天大地，毒龙发金籁度百亿劫痴女呆男。”