辽代，玉泉山就建起了北京西郊最早的皇家园林——玉泉行宫。金代，又建了芙蓉殿。金章宗完颜景多次游幸玉泉山，以为避暑之地，并以“玉泉垂虹”引为“燕京八景”之一。元世祖忽必烈在此兴建了照化寺。明英宗朱祁镇又修建了上、下华严寺。清康熙十九年（1680 年） 将原有行宫、寺庙修葺一新，总名“澄心园”， 后改称“静明园”。乾隆帝也曾 “几余临憩，略加修葺”，他认为玉泉山水是从石缝中流出，未形成瀑布，故将其改为“玉泉趵突”。

玉泉山之水不仅滋润了周围的山林花木，装点了这里的楼阁殿堂，而且还参与形成了京城的供水系统，有作为北京“生命泉”的重要作用，为北京城的起源、发展、繁荣做出过重要贡献。当年乾隆封它为“天下第一泉”，不仅因为它的水质好，更因清朝定都北京后，玉泉山水所起的作用越来越大。清代时皇宫大内的饮用水都为玉泉山水，由插着龙旗的水车，经西直门运入宫中。每天西直门一打开城门，第一批进城的就是皇宫的运水车，每辆车上放着四个大水桶，上面盖着绣龙的大苫布。此外，它还要供给颐和园、圆明园等诸多园林的用水，并作为沟通大运河的通惠河之上源。而用玉泉山水浇灌的水稻、水果，也成了皇宫的御用食品。蒙古帝国宰相耶律楚材特用玉泉水制墨，命名“玉泉新墨”，亦是上等佳品。