虹饮山房始建于清代顺治年间，改建于康熙23年。后经雍正、乾隆、嘉庆各代皇帝的复修和扩建，形成了现在占地36亩，周围红墙，三院九进封闭式合院的北方宫式建筑群。乾隆皇帝六次下江南，五次宿顿于此，并建亭立碑，帑金修缮，故又俗称为"乾隆行宫"。1983年，江苏省人民政府为了保护这一珍贵的文化遗产，公布其为省级文物保护单位。2001年6月又被国务院公布为全国重点文物保护单位。乾隆行宫是京杭大运河全线保存最完好的一处皇家宫殿，具有极高的艺术造诣与文化价值。2014年6月22日在卡塔尔多哈召开的联合国教科文组织第38届世界遗产委员会会议上，乾隆行宫作为中国申遗的京杭大运河中的一处重要遗址点成功入选世界遗产名录。

虹饮山房的园主是一个落第秀才，惟喜居家读书，一生不慕功名，有嗜酒的癖好。常常和好友在园中以饮酒作诗为乐。徐士元酒量极大，被称“虹饮”，这处山庄又毗邻虹桥，有“虹所饮者，桥下之香溪也”之说，虹饮山房由此得名。虹饮山房展出馆内珍藏有： 一、清代圣旨馆。展示清朝十代皇帝的二十道圣旨真迹。 二、科举制度馆。陈列科举考试的详细资料，有考秀才、举人的试题、试卷、朱卷；有考进士、状元的殿试卷；还有科举考试考生作弊时使用的丝织夹带和微型“四书五经”。 三、宫廷用品馆。展示明清龙袍及宫廷、官宦、民俗用品数百件。

 虹饮山房因乾隆六次巡临颇得尊荣，园内有门厅、花厅、古戏台、荷塘、假山奇石，建筑规模宏大，尽显江南文人园林秀气，又展北方皇家园林之霸气，是南北园林巧妙相融的典范。