李秀成的部队在4月初从常熟撤围后,从江浦的新河口再次向江北攻击,然后向西挺进,打到了安徽的六安,即将进入湖北。

李秀成离开江苏,使湘淮军少了一个劲敌。李鹤章和程学启率部攻击太仓。驻守在这里的天国会王蔡元向湘淮军请降。

4月26日,李鹤章和程学启所部严阵以待,准备受降。李鹤章率部渡河,正要入城,忽见一支太平军裹着白头巾从东南门奔出,向李鹤章的部队杀来。李鹤章急令部队后撤,但已来不及,部队有几百人阵亡,李鹤章脚上受伤,差一点丢了性命。

程学启的部队刚刚把守住西门,忽见太平军的几十艘战船从昆山驶来,船上的太平军与城内的太平军交谈,语气神态十分亲密。程学启顿时起了疑心,留心提防。

果然,城内一千名太平军冲杀出来,程学启率部奋力抵抗,将太平军击退。

李鸿章接到警报,令刘秉璋率部援救李鹤章,又调常胜军去太仓增援。

4月29日,程学启率部会同欧阳利见的水师部队逼近西门,常胜军捣毁南门的关卡。

5月1日,戈登将大炮排列在程学启营前,开炮轰击,击毁两座石垒。

5月2日,戈登下令开炮轰击城墙。黄昏前,城墙裂塌,太平军从南门逃走,无法出门,除阵亡者以外,几乎全被俘虏。湘淮军进占太仓。

5月8日,郭嵩焘转授两淮盐运使。

程学启和戈登的部队西进昆山,连攻两天,没有战果。戈登率领常胜军暂时返回松江。程学启率部驻扎昆山东门,令刘士奇的部队驻扎北门,周良才的部队扼守周市。

5月25日,周良才部在周市击败太平军。5月28日,程学启令周良才部袭击太平军后方,刘士奇的部队分左右两路进攻,程学启率领亲兵随后跟进。

常胜军从松江到来,开炮支援。激战一整天,程学启的部队攻破太平军的二十四座壁垒,斩杀近万名太平军。

戈登建议一鼓作气,攻下昆山。程学启说:“昆山三面有水环绕,陆路可通苏州,必须经过正仪。我们先攻占正仪,阻截援军,断绝昆山守军的退路,一定可以攻破昆山!”

5月30日,程学启约郭松林等将领出兵,从水陆两路攻打正仪,常胜军随后赶到,鏖战中斩杀三千名太平军。占领正仪之后,程学启留下陈有升等部驻守。

谭绍洸见昆山危急,调集四万兵力前来救援。程学启令郭松林等部会同水师扼守隘口,派周良才等部驻扎在北门桥,派何安泰部扼守东门,自己率部在正仪大道上阻截。

战到黄昏,谭绍洸派出所有精锐部队从小西门出击,中了埋伏,返回城内。程学启调动各路兵力强攻,于5月31日攻克昆山,谭绍洸从阳澄湖上逃遁。

此战以后,郭松林升任总兵。