初到长沙，曾国藩受到了热烈的欢迎，开始了疯狂的“剿匪”，以至被人称为“曾剃头”“曾屠户”。其行为不仅令老百姓痛恨不已，也引起了长沙各级官员的极大不满，有人借此做文章，企图挤走羽翼尚未丰满的曾国藩。曾国藩深思熟虑之后，决定离开长沙赴衡阳，他要在衡阳建立一支与绿营军、八旗兵截然不同的新型军队，以有效地对付蓬勃发展中的太平军。
对渴望建功立业的曾国藩来说，衡阳练兵是一个明智的选择。从此，他建立了中国历史上第一支带有旧式军阀性质的军队——湘军。