岳飞16岁时与刘氏成婚，生岳云、岳雷二子。岳飞从军抗金，让刘氏照顾母亲，她却“两经更嫁”。刘氏后嫁与韩世忠军中一押队，韩世忠让岳飞来取刘氏，岳飞只“差人送钱五百贯”而已。后来岳飞在战乱中相识中结识了李娃，两人大概在建炎二、三年间结婚 。岳飞从不纳妾，与李娃感情和睦，生有霖、震、霭（霆）三子。夫遇害后，李娃随家眷流放岭南，仍坚持将儿孙抚养成人。冤狱昭雪后，李娃和三个儿子北归，终年75岁，葬于江州（今江西九江）。那么岳飞的5子2女，在他被害后他们又怎么样呢？

长子岳云，字应祥，号会卿，刘氏生。他12岁即从张宪军，随父亲征战四方，身先士卒，屡建奇功。是中国历史上少有的少年将军。历任武翼郎、左武大夫、忠州防御使等职。后被诬入狱，与父和张宪同时被害，时年23岁。冤狱平反后，赠安远军承宣使。死后葬于杭州栖霞岭。

次子岳雷，字发祥，号夏卿，又号声甫，刘氏生。1126年（靖康元年）三月，生于山西平定军。岳飞在狱中时，岳雷曾被派去照料其父。父被害后，随亲人被遣送至惠州（今属广东省）拘管。冤案昭雪后，岳雷封忠训郎，阁门祗侯，又蹭武略郎，翰林院大学士。景定二年(1261年)追封绍忠侯。岳雷晚年居丹阳培棠，归岳琛(岳霖子)就养。卒于嘉定三年(1210年)8月22日，寿年78岁，葬丹阳城东四十里鹤迹寺岳雷坟。岳雷妻赵氏，封辅德夫人。

三子岳霖，字及时，号商卿，母李娃。岳飞遇害时，霖年仅12岁，孝宗皇帝昭雪时，霖32岁。霖多方搜集父亲遗事，其子岳珂在此基础上编成《鄂国金佗稡编》28卷、《续编》30卷，这是研究岳飞的重要史籍。淳熙三年（1176）岳霖任广西钦州知县，淳熙五年(1178）孝宗皇帝便殿诏见岳霖时说：“卿家纪律，用兵之法， 张、韩远不及，卿家冤枉，朕悉知之，天下共知之”。岳霖稽首涕泣说：“仰蒙圣察抚念，故家臣不胜感激”！淳熙十六年（1189）任太常卿、左司郎中和提举封椿库等官职，官至朝请大夫、敷文阁侍制，兵部侍郎，广东经略安抚使，赠太中大夫。

四子岳震，字东卿，母李娃。父兄蒙冤遇害，震方7岁，与弟岳霆同时居九江庐山下沙河家中，父兄遇害的噩耗传来，家人闻变拥其兄弟二人过长江，改姓鄂，潜于黄梅大河之滨，后迁聂家大湾。岳飞冤案昭雪后，岳震历任朝请大夫，提举江南东路常平茶盐公事，户部度制司郎中，江东提举等职，宋宁宗赠保义郎，宋理宗景定二年（1261年）加封缉忠侯。

五子岳霆，李娃生，初名岳霭，字应时，号君锡。父兄遇害时才3岁，岳霆与兄弟岳震二人潜过长江，改姓鄂，隐居于黄梅大河镇，后宋孝宗为岳飞平反，恢复岳姓，并赐名岳霆，官拜朝散大夫。小说《铁伞怪侠》中的主人公就是岳霆，书中他拜武当派主洞玄真人张三丰、铁伞怪侠古来稀为师学习武功，后来艺成下山闯荡江湖，惩恶扬善为父报仇。

岳安娘，岳飞之女，其夫高祚于1163年（隆兴元年）特补承信郎。后事不详。

岳银瓶，一说其本名孝娥，相传是岳飞次女。《说岳全传》提及岳飞次女闻父兄冤死，欲为他们鸣冤不果，抱银瓶投井而死，终年13岁，世称为“银瓶小姐”。除《说岳》外，其事迹在南宋词人周密《癸辛杂识》和清代以来的杭州地方志均有记载。