在将领的选拔上,曾国藩也注重无官气、有操守的读书人;由这些独当一面,作统领、当营官,采用戚继光的练兵法,创练队伍,这就是湘军的起源。一段时间后,他决定出山讨伐太平军。为了增强湘军的士气,他写了一篇感情激昂、文辞并茂的《讨粤匪檄》。在这篇檄文里,他说“洪匪举中国数千年礼义人伦诗书典则,一旦扫地荡尽。此岂独我大清之变,乃开辟以来名教之奇变,我孔子、孟子之所痛哭于九原”,接着号召“凡读书识字者,又乌可袖手安坐,不思一为之所也”。这篇檄文,抓住了太平天国信仰异教、排斥儒教、排斥传统文化等弱点,直中要害,为清朝剿灭太平天国制造了广泛而有利的思想舆论。
湘军出发后,第一站是解除南昌之围,曾国藩没有亲自出战,而是派其他人率军出征。到了南昌,没有显示初出茅庐的锐气,而是损失了一些兵马。曾国藩意识到,太平军跟一般的农民起义军不一样,要想战胜太平军,必须有足够的兵力和精良的武器装备。因此,曾国藩对湘军进行了练勇万人的计划,训练非常严格。同时,曾国藩感到太平军之所以横行,制胜的法宝是强大的水师。要想剿灭太平军,光有陆师不够,还必须建立一支强大的水师。于是,曾国藩上疏朝廷,要求购买洋船、洋炮建立水师。编练水师的计划得到奕詝的批准,湘军规模改为水师、陆师各10营5000人,一支最为凶悍的地主武装便诞生了。湘军练成之后,立即参与了镇压太平天国的战争。