此时，岳飞很生气，决定脱离杜充，独自转战后方。可是，岳飞的手下有一部分人怕金人，准备叛逃。岳飞向他们慷慨陈词，士卒皆被感动，愿随之作战。
那时岳飞的部队不过千八百人，可都是积极抗金者，虽少却精，特别能战斗。
1130年（建炎四年）初春，宜兴正被溃军骚扰，县令请岳飞来宜兴，说：“县中存粮，可供一万军士吃十年！”二月，岳飞进驻宜兴，屯于张渚镇。岳飞抗金英勇，爱民如亲，得到老百姓的拥护。收编了一些散兵，岳家军初具规模。
金兀术兵败黄天荡后，损失巨大。这时的完颜宗弼也只知道韩世忠，还不知道有岳飞。
完颜宗弼经过常州时，岳飞率军从宜兴赶来截击。岳飞四战皆捷，擒女真万户少主孛堇等十一人。这时的完颜宗弼不但知道了韩世忠厉害，也知道岳飞厉害。
这时，岳飞的名字才被赵构知晓，但比起韩世忠来，名头还是差多了。因此，朝廷诏令，命他配合镇江韩世忠，从左翼进击金军，伺机恢复建康。
是年四月，岳飞已归属御前右军都统制、浙西江东制置使张俊部下。岳飞收复建康后，张俊要把他派往饶州，扼守江南东、西两路。但岳飞十分重视守卫建康的战略意义。五月下旬，岳飞亲自押解战俘去行在越州，生平第一次觐见宋高宗赵构。