“三穗堂”原名“乐寿堂”（取自孔子的《论语·雍也》：（子曰：“知者乐①水，仁者乐②山；知者动，仁者静；知者乐③，仁者寿”。①音[yào耀]②音[yào]③音[lè]。）“智者乐，仁者寿”之意，点明豫园园名寓意）。清乾隆二十五年(1760年)，在“乐寿堂”旧址建“三穗堂”。清代，这里是官府举行庆典和“宣讲圣谕”之处，也是地方文人绅士聚会之所。晚清“三穗堂”成为豆米业定标较斛之所，时称“较斛厅”。后恢复“三穗堂”名。

堂高9米，五开间，单檐歇山式建筑，屋顶塑像左为拿着长矛的张飞，右为手持大刀的严颜。是豫园最高敞的厅堂。内有回廊分隔，里间主任议事、会客、宴请，外廊仆人上茶、送巾、上菜。厅堂正门的8扇槅（音阁）扇裙板上雕刻着稻麦、玉米、高粱、瓜果等图案。堂外回廊四周，有8幅精美的泥塑漏窗（漏景），其中东北角的一幅中间是松鹤图案，四边为回文（把相同的词汇或句子，在下文中调换位置或颠倒过来，产生首尾回环的情趣，叫做回文，也叫回环。）“福禄寿喜”四字，寄寓对长辈的祝颂，呼应豫园园名。

堂内中堂张挂着潘允端撰文（潘伯鹰书写）的《豫园记》，梁上高悬“三穗堂”、“灵台经始”、“城市山林”三块贴金匾额。

“三穗堂”匾之“三穗”，典出《后汉书·蔡茂传》中“梁上三穗”的故事。蔡茂生逢西汉和东汉交替之际。他未发迹时，一天梦见自己坐在大殿的梁上，看到一禾有三穗，便伸手去拿，拿到了中间的穗，梦就醒了。第二天，郭贺给他解梦：大殿是朝廷的象征，“梁”是栋梁之材意。古代官员以粮食为单位计俸禄，“禾”即寓意俸禄，取得“中穗”隐指“中台”之位。不久，蔡茂果然就任中台官职。因其为官清廉，公开反对王莽篡汉，被后人尊为楷模。该典故表达了“朝为田舍朗，暮登天子堂”的祈盼。“一禾三穗”又有祈求丰收的寓意。

“灵台经始”匾，典出《诗经·大雅·灵台》：“经始灵台，经之营之。”有两解：一是“灵台”为周文王所筑高台，用来祭天，观天象；二是据《孟子》：“文王以民力为台为沼，而民欢乐之，谓其台曰灵台，谓其沼曰灵沼，盖用以游观。”表示主人建造豫园，乃是上承古圣之举。

“城市山林”匾（清道光六年(1826年)兵部侍郎翰林院编修陶澍所书），表示园主建园追求“身居闹市（不出城廓）而有山林野趣”。