玉女潭的开发，远在唐大历年间（766-779）。唐滁州刺史李幼卿曾于阳羡玉女潭置别墅，后称"李幼卿玉潭"，又称"玉潭庄"。李幼卿曾将玉潭庄托付于独孤及照管，两人屡有诗词唱酬。李幼卿寄独孤及诗题："时蒙溪幽居在义兴，益增怀思。"独孤及说他是"日日思琼树，书书话玉潭"。唐宪宗时，礼部尚书权德舆曾迁居宜兴，称玉女潭为"阳羡佳山水，此为首也"。稍后，安史之乱时，宰相陆希声也曾隐居玉女潭。唐以后近800年，玉女潭鲜为人知。 明嘉靖年间，溧阳进士史际因不愿做官而回乡，在为母选择墓地时来到玉女潭，买下了这块土地。他大兴土木，建"玉阳山房"、"玉清祠"，并自号"玉阳山人"。又建"玉潭仙院"并由皇帝赐于题额。文征明为史际作《玉潭仙居记》，详细记述了玉女潭的建设历史和主要景致，称"其中台榭楼阁祠宇杠梁凡三百有一，林壑岩窦可名者二十有三"。明清之际曾有许多文人雅士慕名前来，行迹屡见于古人的题咏之中。宜兴著名画家徐达章（徐悲鸿之父）所画宜兴十景画之一的《玉潭凝碧》再现了玉女潭的秀丽风光。

      玉女山庄游路蜿蜒，奇石显现，依山构筑的门头、碑亭、芙蓉亭、超然宇、大观廓、玉光阁等十多处建筑，错落在山水、绿树之间。其景观有以石见长的“玉阳洞天”和以水取胜的“玉潭凝碧”两部分。玉阳洞天奇异的石景系地表石灰岩风化而成。自“期仙堑”上“芙蓉城”，穴窍穿透，延绵百余米。盘旋而下，有瑶台、三珠洞、飞云洞、普贤峰；曲折而上，则为集灵谷、会仙坛等。过此绕竹林，便到“石峡”，于此仰望，俗谓“一线天”。由石峡穿“环玉岗”，即达“玉潭凝碧”景区。玉女潭在半山绝弯中，广8米、深64米，旱不竭、雨不盈，水色莹洁，光可照人。潭水清流漱石，缓缓下泄。