在民间传说中，纪晓岚的形象风流倜傥，一表人材。他一生诙谐、滑稽，机敏多变，才华出众，给后世留下许多趣话，素有“风流才子”和“幽默大师”之称。

纪晓岚一生娶了一妻六妾，原配姓马，比纪晓岚大3岁，是他17岁时娶的。为他操办婚事的，是他同父异母的哥

哥纪晴湖。这位忠厚的长兄，比纪晓岚大18岁，对纪晓岚的照顾十分周到。他为纪晓岚娶媳妇，不惜花费数百金。而他自己嫁女儿，只准备了些衣服首饰当嫁妆。这是纪晓岚终生念念不忘的。

纪晓岚妻妾众多，纪晴湖虽然自己一生只娶一房妻子，却对弟弟纳妾一事很宽容。他说：“纳妾符合礼法。如果强行禁止，一定会弄出不合礼法的事情来。”马夫人与纪晓岚相敬如宾，白头偕老，纪晓岚72岁那年她才去世。纪晓岚在《阅微草堂笔记》中对马夫人提到过两次，第一次是说她很喜欢自己的一个小妾：“故马夫人终爱之如娇女。”第二次出场，马夫人已是婆母身份，“马夫人称其（二儿媳）工、容、言、德皆全备。”纪晓岚惜墨如金，两次提到马夫人，一共20多个字。

对自己宠爱的小妾，纪晓岚却不惜笔墨。郭彩符是她的爱妾之一，纪晓岚在《槐西杂志》中用300余字记述说，自己被贬新疆时，郭已经病重，到关帝庙求了一支签，知道还能等到纪回来，但病却痊愈无望。果然，纪晓岚回来不久，郭氏就去世了。郭氏死后，家里整理她的遗物，纪晓岚睹物生情，写了两首诗：“风花还点旧罗衣，惆怅酴釄（音‘涂迷’）片片飞。”“百折湘裙台画栏，临风还忆步珊珊。”颇见真情。

纪晓岚对另一小妾沈明玕着墨最多，写了700多字。沈氏曾经说过，“女子应该在40岁之前就死去，这样人们还会怜惜她。”纪晓岚在《阅微草堂笔记》中收录了沈氏一首小诗：“三十年来梦一场，遗容手付女收藏。他时话我生平事，认取姑苏沈五娘。”沈氏果然30多岁就去世了。纪晓岚说，沈氏临终前，一缕芳魂还跑到他“侍值圆明园”的住处探望了他。沈氏死后，纪晓岚在她的遗像上题诗道：“春梦无痕时一瞥，最关情处在依稀。”

这些妻妾为纪晓岚生了4个儿子。其中，长子纪汝佶十分聪明，21岁就中了举人。但纪晓岚被发配新疆后，纪汝佶变得精神颓废，整天和一些诗友厮混。纪晓岚的一个学生朱子颖把纪汝佶带到泰安散心，没想到纪汝佶偶然见到《聊斋志异》的抄本，更是无心科举，埋头创作专讲狐仙鬼怪的笔记小说，让纪晓岚失望之极。纪汝佶25岁郁郁而亡，病危之时家人按风俗给他烧了一个纸马，纪汝佶突然睁开眼叫道：“我的马怎么瘸了一条腿？”家人大惊失色，原来，他们烧纸马时，不小心把马蹄给弄花了。纪晓岚记述此事时，对儿子的灵性颇有几分怜惜。但是纪晓岚也因儿子之故，对《聊斋志异》很有恶感，在《阅微草堂笔记》中多次批评。

纪晓岚次子纪汝传当过江西南昌、九江等府通判。三子纪汝似曾捐广东候补东莞县丞。四子纪汝亿，事迹已不可考。清嘉庆十年(1805年)，纪晓岚死于京城，享年82岁。嘉庆帝曾亲往祭奠，并谥“文达”。但纪晓岚死后，家道也就中落了。

纪晓岚颇好色，一日要临幸女子数人、一日至少要行房五次，清晨、上午、中午、黄昏、睡前定各要一次。其他偶发事件，还不计算。纪晓岚如一日无女色则“肤欲裂，筋欲抽”。编辑《四库全书》时数日单身当值，竟然“两睛暴赤，颧红如火”。乾隆帝见而大惊询问，纪晓岚就实话实说，皇帝大笑，遂赐两位宫女“伴宿”。

有学者认为纪昀“试图用这种肉体的狂欢”，“藉以消磨豪情，转移自己内心的压抑和痛苦”。