岳飞的第一任妻子刘氏，为岳云、岳雷的生母，当时岳飞被岳母刺下尽忠报国之后投军之时，特地嘱咐刘氏赡养老母，教导两个幼儿，谁知刘氏不能忍受艰苦的生活，也不能守节，先后两次改嫁。
岳飞的第二任妻子李娃，李娃嫁给岳飞时已经二十八九岁，不是一个青春少女，同岳飞在战乱中相识，却能陪着岳飞共患难，生有三子岳霖、岳震、岳霭。岳飞死后，李娃被流放岭南，仍坚持将儿孙抚养成人。她坚韧自强，且在军事上也颇有见解，传说当时她跟着岳飞出征，某一天岳飞外出，不在军中。李娃听说岳飞的某个部下准备谋叛，作为一个女子，她并没有慌张，反而是一声不吭，暗中调查此人，收集证据，然后召集诸将公布证据，将毫无防范的叛将一举拿下。但可惜的是，岳飞并不喜欢她插手这些，只希望她好好地料理家中的事情。
岳飞的五个儿子岳云、岳雷、岳霖、岳震、岳霭，前两个都英年早逝，岳云由于打仗颇有其父风范，被秦桧忌惮，将其同其父亲一同诬陷，投入牢中，和他的父亲在同一天被杀害，接着二儿子岳雷被流放拘管，含恨而终。后三子由于年纪小，且有母亲的照料，贫穷但相对平安地度过了少年期。
他的女儿在历史记载上有两位，一是岳安娘，记载不详，只知道她的丈夫叫高祚；二女岳银瓶，本名孝娥，在听说自己的父亲和大哥被莫须有的罪名给冤死之后，想要面见皇帝鸣冤，但终究失败，一个小女孩能做些什么呢？况且是罪臣之后，鸣冤未成的她直接抱着银瓶投井自杀，死时才13岁，因她的死因，被后世称为银瓶小姐。
岳飞的父亲是一个地地道道的农民，但幸运的是家境还算不错，有土地自己耕种，而不是去地主家帮佣。据说岳飞的名字，是他看见有一只大鸟从岳家屋顶飞鸣而过，这只大鸟姿态健美，鸣声响亮，给人一种一飞冲天之感，在孩子刚出生就看到这么精气神十足的大鸟，岳和觉得是一种吉兆，就给这个婴儿取名飞，字鹏举，希望他能一飞冲天，有鹏程万里的前途。
岳和为人大方，重义气，性情忠厚老实，喜欢帮助别人，经常自己系紧腰带吃得简陋，也要尽可能地匀出一些东西，帮助别人。岳飞的性格估计就是他父亲的遗传，同样忠厚老实，只知道报效国家，在战场上奋勇杀敌，拯救陷入硝烟战火间的贫苦百姓。
据说岳飞生活非常简朴。衣着上，全家都只能穿粗布衣服，有一次李氏穿了件绸衣，就被岳飞说了一通。吃喝上，岳飞估计没怎么吃过肉，历史记载他有一次留部将郝晸进餐，一个荤菜也没有，赦晸看此情景，送酸馅，不怎么好的东西，岳飞尝后，却把剩下的当作晚食，颇有一种心酸之感。他与将士们同住茅屋军帐，经常将自己的私产拿去补贴军用，甚至变卖家产来铸造兵器。深得其父遗风。
历史上记载，岳飞的母亲姚氏称呼他为五郎，那么在岳飞的前面就应该有四个哥哥，但都没有记载，估计是早早死了。他应该还有一个姐姐和一个弟弟，姐姐是根据他的甥婿高泽民在岳飞29岁时到临安办事推测出来的；他的弟弟岳翻，在破曹成时被杨再兴所杀。
