在将领的选拔上，曾国藩也注重无官气、有操守的读书人；由这些独当一面，作统领、当营官，采用戚继光的练兵法，创练队伍，这就是湘军的起源。一段时间后，他决定出山讨伐太平军。为了增强湘军的士气，他写了一篇感情激昂、文辞并茂的《讨粤匪檄》。在这篇檄文里，他说“洪匪举中国数千年礼义人伦诗书典则，一旦扫地荡尽。此岂独我大清之变，乃开辟以来名教之奇变，我孔子、孟子之所痛哭于九原”，接着号召“凡读书识字者，又乌可袖手安坐，不思一为之所也”。这篇檄文，抓住了太平天国信仰异教、排斥儒教、排斥传统文化等弱点，直中要害，为清朝剿灭太平天国制造了广泛而有利的思想舆论。
湘军出发后，第一站是解除南昌之围，曾国藩没有亲自出战，而是派其他人率军出征。到了南昌，没有显示初出茅庐的锐气，而是损失了一些兵马。曾国藩意识到，太平军跟一般的农民起义军不一样，要想战胜太平军，必须有足够的兵力和精良的武器装备。因此，曾国藩对湘军进行了练勇万人的计划，训练非常严格。同时，曾国藩感到太平军之所以横行，制胜的法宝是强大的水师。要想剿灭太平军，光有陆师不够，还必须建立一支强大的水师。于是，曾国藩上疏朝廷，要求购买洋船、洋炮建立水师。编练水师的计划得到奕詝的批准，湘军规模改为水师、陆师各10营5000人，一支最为凶悍的地主武装便诞生了。湘军练成之后，立即参与了镇压太平天国的战争。
