岳飞有句名言：“文臣不爱钱，武臣不惜死，天下太平矣。”他担任高官后，收入颇高，却一直维持着简朴的生活。后妻李娃有一次穿丝织品，岳飞一定要她换成低档的麻衣。他丰厚的收入经常被用来贴补军用。有一次，将宅库中的物品变卖，造弓二千张。他遇害后被抄家，家中根本没有金玉珠宝，贵重物只有三千余匹麻布和丝绢，五千余斛米麦，显然还是准备贴补军用的。宋代的统治阶层纳妾很平常。岳飞的前妻刘氏在战乱中自动离家改嫁，岳飞与后妻李娃厮守一生。有一次，名将吴玠的属官出差到岳飞军营，对岳家军中没有姬妾、歌童、舞女等劝酒作陪颇感惊讶。回去报告吴玠后，吴玠为岳飞送来一个四川名姝，却被岳飞打发回去。
长子岳云常年追随岳飞征战，岳飞对他异常严格。岳云还是一名小军士时，在训练时不慎跌下马，就被岳飞严责一百军棍。岳云年龄稍大，就是十分骁勇的战将。他参加过多次重要战役，在著名的颍昌大战中，他打得人为血人，马为血马，全身创伤一百多处。但岳飞一般只报将士们的战功，对岳云的战功却扣押不报，并且多次拒绝上级或皇帝为岳云加官。岳飞平时不准儿子们近酒，在学习的间隙，还让他们参加农事，理由是“稼穑艰难，不可不知也”。