1852年7月，就在太平天国进军湖南时，曾国藩被派为江西正考官出京，中途得悉母丧，告丁忧假回到湘乡老家。

翌年初，咸丰皇帝因武昌失陷，采纳周天爵意见，命湖南和山东、江苏等9省在籍官绅、曾任二三品文武官举办地方团练，以牵制和打击太平军。曾国藩是最早从时任湖南巡抚张亮基处接到谕旨的。开始他想推卸，但经好友郭嵩焘和兄弟曾国荃等劝说，终于应邀到长沙筹办团练。

曾国藩到了长沙，就提出要设一大团，把周边各县农民，择其壮健而又头脑单纯的，招募来省城编队训练。他还成立了所谓的“审案局”，拿到造反农民，即使仅有造反嫌疑的，也不作审讯，就借巡抚令旗，重则斩首，轻则亦立毙杖下。他主张，对付任何造反的民众，只有用杀才能干净利落。所谓官府杀人不必拘守常例，乡绅捕人不必一一报官，无限止地扩大杀人权限。其中多遍及无辜。

据说曾国藩办团练的第一天，带领团丁外巡到某村，见有买桃人和卖桃人争吵，便问讯原因。买桃人说，我已付了钱，他说没有付。卖桃人说，他没有付钱，想赖我桃子。经审明后，乃是卖桃人说谎。曾国藩命团丁将他捆缚，立即杀头。

非杀何以立威？曾国藩就奉行这样的信条，也为其他官衙和团练做出了榜样。

http://p3.pstatp.com/large/a9f000190e1bb698cc0杀人如草不闻声。因而，曾国藩被称为“曾剃头”、“曾屠胡子”。意思是说，他杀人如剃头发、剃胡子。

对曾国藩的作为，咸丰皇帝却极为赞赏，说是“办理土匪，必须从严，务期根株净尽”。

曾国藩的两重人格，诚朴和残忍兼而有之，王道和霸道交替使用。他的手段高明、认识睿远，这是太平天国所远不能及的。洪秀全、杨秀清等人从此遇到了最强大的对手。