二月中旬，湘军前锋水师部队与贼兵如期相遇。尽管湘军人数处于劣势，但是经过一年的严格苦训，湘军将士的战斗力却要远远高于长毛贼兵，因此哪怕敌众我寡，但是湘军依然能够力战不退。就这样两军在岳阳洞庭湖一带激战了半个月后仍然不分胜。
三月初，贼兵的援军眼见自己的前锋部队在岳阳一带迟迟拿不下湘军，于是他们绕过岳阳，另择道路向湖南腹地扑去。仅仅不到十天时间，绕过湘军扑向湖南的那股贼军就连下湘北数县，兵锋直指长沙、湘潭。
本就兵力不占优势的曾国藩，无奈又只能派负责在自己后方压阵的塔奇布、彭玉麟带领一部分紧急驰援长沙、湘潭。塔奇布、彭玉麟两部一走，曾国藩手里的可用之兵就更加捉襟见肘了。再加上，湘军将士绝大多数都是长沙、湘潭两地人士。为了惑乱湘军将士的士气军心，贼兵匪首派人大肆宣扬长沙、湘潭马上就要失守的消息。在这诸般不利情况下，在岳阳苦战的湘军从原来的勉强坚守，瞬间就支撑不住，开始节节败退。眼见如此情况，曾国藩为了保住手下湘军将士的有生力量，当机立断，下令弃守岳阳，回防长沙、湘潭。到时候说不定还能凭借湘军对地形更加熟悉的优势扳回一局。