袁枚好书成癖，但到了晚年，他却主动地将自己大量的藏书散了出去。其中有五十三种世上传钞稍稀的书籍，是他应乾隆皇帝求书之诏，呈献给《四库》馆臣，以作编纂《四库全书》的底本。其余尽奉送给宾朋，总共“散去十之六七”。对此有人纳罕，为了说明缘由，袁枚写了《散书记》和《散书后记》等文，归纳起来有三点：

一、富不爱看。袁枚说他在贫困的时候，常常为借书而梦绕魂牵，一旦书借到手，就赶快探究，牢记。可是做官以后，有了丰富的藏书，反不甚研阅。而将书散出去，则会产生不忍决舍之情。这样每散一书，必郑重审视，“穷日夜之力，取其宏纲巨旨，与其新奇可喜者，腹存而手集之。是散于人，转以聚于己也。”

二、书多不能尽读。特别是那些考据类书籍，袁枚认为它们离诗甚远，味同嚼腊，对他从事文学创作没有多少用，他平时也不大问津。与其让这些书籍深庋高搁，秧饱蠹鱼，还不如即早散出去，供热衷于考据之学的人去使用。

三、子孙不能永守。袁枚认为，天下没有不散之物。古代有不少藏书家殚心竭力地搜集图书，淳淳告诫子孙守之弗失，甚至授以“鬻书为不孝”的庭训，然而身后子孙有将书为薪者，有以书沉水者。更何况，袁枚早巳看出他的两个儿子 “见书殊漠然”的态度，他也不去勉强。但他考虑到与其身后散，还不如身前散，他要亲眼看见这些书籍散得其所，为人所用，这样，他才感到心安。