这个园子取名“芝园”，有两种说法，一是因为胡雪岩早年丧父，由母亲带大，为纪念父亲胡芝田，而取父名中的“芝”字；另一说是因为胡雪岩对芝园的设计非常满意，而设计师的名字叫“尹芝”，为纪念他，故而以“芝”名园的。我想，这种巧合，让胡雪岩生智，兼而有之的吧。

     芝园位于故居的西部，占地约两亩，以山水景象为主题，以湖泊型水池为构图中心，使水面与空间相互渗透，似分还连，这种山水组合的构架正是芝园整个布局设计的灵魂所在。正前方为芝园进门。

    芝园里占地最大、最重要的有两样，一样是在北边的大假山，一样是芝园里的主体建筑延碧堂。

    大假山最右上角的建筑叫荟锦堂，是整个芝园里的最高建筑，荟锦堂为芝园里的最高点，站立此处，内可以一览园内，二可以越墙观看到杭州的市景。

     芝园里还有一样出人意料的所在，就是在大假山边凌空架着一座石质的凉台 - 扑凉台，两根青石亭柱从高处落脚在池水边，悬空兀立，别有情趣。貌似无理，却又与池中的晴雨亭相呼应。

     水池的中央是曲桥，曲桥上架着的是晴雨亭。名曰“晴雨亭”，也许取义于苏轼诗“水光潋滟晴方好，山色空濛雨亦奇”。

     曾经两次到此一游，重来又是三年多哟。不一样的是，上两次来此，正值旅游旺季，故居内人满为患，今日却有点冷冷清清，惹人喜欢哦。

     故居无论是从建筑还是从室内家具的陈设，用料之考究，都堪称清末中国巨商第一豪宅。当年单是堆砌芝园内的假山，据说就耗银10多万两。芝园怪石嶙峋、巧夺天工，其中的假山为国内现存最大的人工溶洞。