琼花观的历史可追溯到汉代，西汉元延二年（前11年），在此地建主管万物生长的女神后土祠。唐代更名为“唐昌观”。宋代庙里生长的琼花名扬天下，北宋至道二年（996年），扬州太守韩琦因观内琼花树叶茂花繁，洁白可爱，作《琼花诗》“维扬一株花，四海无同类。年年后土祠，独比琼瑶贵。”自此琼花之名扬名海内。欧阳修在此任郡守期间，因扬州琼花美艳，在琼花树旁修亭，题匾“无双亭”，遍邀友人在此饮洒赏琼花，写下了“世无伦”的诗句“曾向无双亭下醉，自知不负广陵春。”。北宋的那个亡国皇帝宋微宗也十分喜爱这里的琼花，亲赐匾额题为“蕃釐观”。元代琼花枯死，后人补植。今殿宇已毁，仅存后世重建琼花台，“蕃釐观”石匾，“玉钩洞天”等遗存。