鹅湖书院在鹅湖寺（即仁寿寺）的左边，而鹅湖塔则在鹅湖书院的左边。鹅湖书院的大门，不在正中，而在左面，所以正对着鹅湖塔。书院四周有山有溪，环境幽雅。 鹅湖书院比鹅湖寺大得多，建筑规模颇似孔庙。由大门进去，经过两排桃树，有一个大圆门，圆门内有一个大院子，对面又是一个大圆门，上面是三排殿宇，由此登石阶而入，又是一个院子，里面是半月池，池周围是石栏杆。渡过古桥是第一排殿宇，再过一个院子，是第二排殿宇，其最后一排殿宇，是四贤祠。祠前也是一个院子，祠后则是一个相当高的坪台，其下有一小池，其后是一座高墙，正对那两大圆门的北端高墙。这三排殿宇是主屋。在主屋两旁，又是一排一排的房屋。

在鹅湖书院后面的四贤词内，设有朱、吕、二陆四个牌位，又有一个题着“顿渐同归”字样的匾额，这和书院前排建筑中所悬“道学之宗”的御匾，正遥遥相对，由此可见宋代朱陆鹅湖之会的盛况。抗日战争期间，鹅湖书院成为东南训练团的驻扎营地。

书院建筑群占地8000余平方米，建筑面积4800平方米，坐南朝北，主要建筑安排在中轴线上。鹅湖书院自建立以来。几度废兴，建筑规模也几经变动。清道光二十七年（1847）修建后的基本布局为:院墙前临照塘,墙内左义门、右义门。建筑共六进：一、头门；二、青石碑坊；三、泮池，池上有雕栏石拱桥，泮池两各有一碑亭；四、仪门，三楹，两翼有庑廓；五、会元堂，五楹；六、御书楼。东西两廓各有读书号房20幢。

头门两旁厢屋与前照壁相交之东、西大墙处，为书院与外界通联的主要门户。拱形门洞，门楼为单檐庑殿顶。西大门额匾：“鹅湖书院”，阴额：“圣域贤关”；东大门额匾：“仁山知水”。

北向前照壁，南通一进院内。五开间，明间、次间脊檩前敞厅，悬山，稍间硬山，出五山屏风墙。明间中立大型木质对开版门一樘，抱鼓石一对。其上大匾：“敦化育才”。稍间以及次间的后半进有房。东、西侧屋各三间，硬山，山墙。

石牌坊东侧，在“义圃”门旁，雕刻石砌，为焚烧字纸之炉。与义圃相对，有“经畲”门，为通东、西院杂役住所和士子号舍门户。

石牌坊矗立于泮池与头门之间，始建于明正德六年（1511）。正面额匾：“斯文宗主”，背额匾：“继往开来”。“文革”后期，“枇林批孔”“批朱熹”时，一些人已经将绳索挂上了牌楼，却一时拽拉不动。方打算另行设法，欲毁之而后快。当时此处的校长竟敢“冒天下之大不韪”，并居然劝阻住了，石牌坊幸免倾圮。