纪晓岚的“纵欲”主要表现在“食”和“性”这两个方面。他的癖好是好吃猪肉，甚至可以不吃米、面，动辄每顿吃掉上十盘猪肉。这已是相当令人感觉疯狂、震惊了，然而相对于“食”的一面，纪晓岚在“性”方面“日御数女”、年已八十仍无女不欢的表现，则更是让人瞠目结舌，简直近乎于“色情狂”。一些清人笔记野史中有相关记载：

    小横香室主人在《清朝野史大观》卷三中说：“公平生不食谷面或偶尔食之，米则未曾上口也。饮时只猪肉十盘，熬茶一壶耳。”

    采蘅之的《虫鸣漫录》卷二说：“纪文达公自言乃野怪转身，以肉为饭，无粒米入口，日御数女。五鼓如朝一次，归寓一次，午间一次，薄暮一次，临卧一次。不可缺者。此外乘兴而幸者，亦往往而有。”

    昭枪在《啸亭杂录》卷十中也说“(公)今年已八十，犹好色不衰，日食肉数十斤，终日不啖一谷，真奇人也。”

    孙静庵的《栖霞阁野乘》更是讲述了一个关于纪晓岚好色的精彩故事：“河间纪文达公，为一代巨儒。幼时能于夜中见物，盖其禀赋有独绝常人人者。一日不御女，则肤欲裂，筋欲抽。尝以编辑《四库全书》，值宿内庭，数日未御女，两睛暴赤，颧红如火。纯庙偶见之，大惊，询问何疾，公以实对。上大笑，遂命宫女二名伴宿。编辑既竟，返宅休沐，上即以二宫女赐之。文达欣然，辄以此夸人，谓为‘奉旨纳妾’云。”