鼎盛时期，岳飞实际控制10多万兵力。岳飞在绍兴元年到3年先后平定了贼寇李成、张用和曹成的叛乱，宋高宗赵构赐御书精忠岳飞的锦旗给岳飞，还把牛皋等人的部下拨给岳家军，岳家军兵力很快到了几万人。

岳飞平定杨幺之后，杨幺原来是占据在洞庭湖的大贼寇，手里有10多万兵马，岳飞平定杨幺后把杨幺手下的精英部队编入岳家军。