在多隆阿的部队对庐州发起攻击的那些日子里，在安徽东南一带和浙江全省，都在发生激烈的战争。
浙江东部，清廷宁绍台道张景渠于5月初从定海招募海盗商船，率兵西渡，攻克镇海，进军宁波，与英法联军一起攻城，参战民团超过十万人，攻克宁波各县，进军余姚。
浙江西部，杨辅清从威坪进攻遂安，正好宁国的太平军被鲍超的部队击败，也经昌化向遂安赶来。左宗棠打算攻打龙游，便从常山率部北返开化，令刘典的部队攻打常山西北方的华埠和开化北面的马金街，扼守马金以北的汾口，崔大光也率部赶到。
杨辅清显然回避与湘军交手，于5月13日夜间率部北撤。当王文瑞和刘典率部追赶到淳安时，这支太平军已取道昌化，进入安徽宁国。
浙江东南部的太平军仍然很想攻占温州，一支部队从处州向东推进，另一支部队从乐清南下，一起进击温州。秦如虎率部在温州以西的瞿溪阻击。太平军从瞿溪攻击郡城，闻处道支方廉负责守城，秦如虎部从城外将太平军击退。
太平军稍事整顿之后，再次围攻温州。福建清军将领张启煊率部在桐岭与太平军交战，被太平军打败，退守瑞安。庆端增调曾元福和曾玉明等人率部增援。
太平军的主力都调到了温州周边，民团趁机进占缙云、青田与乐清。
在安徽东部的长江之滨，湘军水师于5月15日到达西梁山，烧断拦江的铁链。太平军不战而走。曾国荃分兵夺取各处阵地。他时而乘小船沿洄江而上，时而单骑驰往高处，了望地形。他认为金柱关是芜湖的屏障，群湖都由这里出口，便邀约彭玉麟率水师攻打。彭玉麟率领外江水师、内湖水师和淮扬水师十八营，大军直驶金柱关。
5月18日，曾国荃率领十五营骑兵和步兵从西梁山渡到长江南岸。彭玉麟的水师已先到金柱关。曾国荃自己率领七千人赶到，趁太平军没有防备，突袭太平府，也就是现在所说的当涂。
太平军没有料到湘军会突然杀到，来不及闭关，湘军已攻入北门，进占太平城。然后，联合水师连夜攻打金柱关，烧毁关内关外的庐舍。衡阳人王吉率部蛇行前进，袭破太平军军营。杨明海在作战中负伤，裹伤再战。
太平军冒火奔逃，湘军短兵拦截，太平军尸累堤岸。
曾国荃又分派王明山的水师攻打乌江。令黄翼升的部队攻打东梁山。
5月19日，湘军攻占金柱关和东梁山，王吉和杨明海都因功以总兵记名。
湘军继续进军，捣毁三汊河与上驷渡的几十座太平军壁垒，缴获三百七十尊大炮以及数以万计的旌旗刀矛。太平军黄崇发部败走。
曾国荃下令进军芜湖。彭玉麟调动上游的所有水师，在裕溪口集结。
湘军来到芜湖城下，曾贞幹、黄翼升、陈湜和黄润昌督促部队登城。黄润昌事先已经派人劝说守军投降，太平军自相惊扰，湘军趁乱急攻，于5月20日攻占芜湖。王明山的水师又攻克烈山石垒。于是沿江的各个关隘，都成为湘军的壁垒。
此战以后，清廷将黄翼升以提督记名。黄润昌升为知府。
5月下旬，曾国荃挥师东进江苏，进攻天京以南五十里的秣陵关。驻防的太平军献关投降。曾国荃派曾贞幹所部绕到三汊河后方，逼近天京城西的大胜关，扎造木桥，在桥畔埋伏精兵，命令后队偃旗息鼓，急速前进。
太平军担心湘军形成大包围，将他们困死，便趁夜放火，放弃壁垒撤退。
5月29日，曾国荃的部队攻克大胜关和三汊河的太平军壁垒。
彭玉麟的水师驻扎在金柱关，听说曾国荃的部队孤军深入，担心陆师为太平军所败，便命令彭楚汉、王吉、喻俊明、成发翔、王明山和谢濬畲等人的部队，从烈山驶入江宁城西的头关，攻击太平军阵地。
5月30日拂晓，曾国荃也到达前线，陆师趁势发起攻击，进占头关。
在此之前，陆师前锋已经进驻雨花台，正如彭玉麟所料，被太平军包抄了后路，截断了运输线。湘军通信梗塞，军报不通，部队人心惶惶。到这时，在水师帮助下破了头关，又有水师护送粮食，从长江水路运来，陆师军心才安定下来。