虹饮山房门前是御码头和御碑亭。乾隆十六年（公元1751年）春天，乾隆首次南巡，御舟经过运河，转胥江，折入香溪，在此舍舟登岸。

        虹饮山房在清时，已是一所江南名园了，是徐家私宅。乾隆年间的主人是徐士元，大名鼎鼎的刘墉就曾两次下榻虹饮山房，和徐士元诗酒唱和。乾隆皇帝每次下江南游木渎的时候，必到虹饮山房，在这里游园、看戏、品茗、吟诗，直到夜色降临，才依依不舍，顺着门前的山塘御道，返回灵岩山行宫。因此，虹饮山房在当地又被称为乾隆皇帝的“民间行宫”。传说乾隆每到虹饮山房，都一定要在这里看戏。有一次，看戏看得高兴，还亲自登台，舞剑助兴，这倒真有点与民同乐了。

虹饮山房的花厅之内有一把龙椅，椅中九条金龙盘旋，用千年紫檀精制而成，据说是当年康熙南巡驻跸灵岩山行宫时的专座。皇家之物，用料考究是自然的。乾隆巡幸木渎时，对此椅也有偏爱，为了看戏，特地移到虹饮山房。这对徐家来说，是莫大的荣耀。但徐士元却诚惶诚恐，既要谢天子恩宠，又怕因保管不当而遭连累，后来索性将它锁在花厅，并派了四个家丁日夜轮流守护。