香山寺位于龙门石窟的东侧，隔伊水相望，因盛产香葛而得名。该寺始建于北魏熙平元年（即公元516年），到了唐垂拱三年（公元687年），印度来华高僧地婆柯罗葬于此，为安置其遗身重建佛寺。公元690年，武则天在洛阳称帝，建立武周王朝，梁王武三思奏请，赐名“香山寺”。公元832年，河南尹白居易捐资六七十万贯，重修香山寺，并撰《修香山寺记》，从此寺名大振。后来白居易自号“香山居士”与如满和尚等人结成“香山九老会”吟咏于该寺的堂上林下。公元846年白居易去世，遗命葬于香山寺如满大师塔侧。乾隆皇帝巡幸香山寺，称颂“龙门凡十寺，第一数香山”，这句诗被镌刻在石碑之上立于寺内。1936年，为蒋介石庆祝五十寿辰在寺内建一幢两层小楼，蒋介石和宋美龄多次在此避暑，于是这里被称为“蒋宋别墅”。