咸豐八年（1858年），廬州重新被太平軍占領，丁憂在家的李鴻章攜家眷輾轉至當時在南昌的兄長李翰章家里。

此時的李鴻章仍然關心著時局，他不斷給曾國藩寫信，既請教統(tǒng)帥之道，也流露出投奔之意。這年底，時年35歲的李鴻章來到曾國藩設在江西的建昌大營報到，開啟了一段在曾國藩幕府做幕僚的重要人生經歷。

初到湘軍大營時，李鴻章主要負責起草文書?；垩圩R人的曾國藩深知李鴻章的才氣，但也知他恃才傲物，鋒芒畢露，真要獨當一面還要多加歷練。當時湘軍幕府中有不少如李元度、左宗棠之類的能言善辯之士，曾國藩經常有意無意安排他們與李鴻章辯論，而李鴻章有時也會被駁得啞口無言，銳氣大挫。曾國藩更是身體力行來影響李鴻章。李鴻章喜歡晚睡晚起，而曾國藩每日清晨必等到幕僚都到齊后才肯用餐。為了能留在湘軍大營，李鴻章漸漸地改掉了之前身上的很多毛病。

李鴻章開始并沒有單獨的統(tǒng)兵作戰(zhàn)，主要是幫助恩師參贊軍機。當時新任安徽巡撫翁同書在太平軍攻打安徽期間棄城而逃，作為兩江總督的曾國藩自然很氣憤，決定要參劾翁同書。翁同書是后來身為同治、光緒兩朝帝師翁同龢的長兄，其父翁心存當時也身居大學士高位。曾國藩讓李鴻章草擬奏疏，李便寫下了“臣職份所在，例應糾參，不敢以翁同書之門第鼎盛瞻顧遷就”的重語。

曾國藩把李鴻章起草的奏疏上奏朝廷，翁同書被充軍新疆，曾也更加喜歡李鴻章的才華。但李鴻章也因此與翁同龢結下了大仇，為日后翁同龢處處刁難李鴻章的北洋水師埋下了伏筆。

曾國藩的幕僚人才濟濟，但李鴻章當時與左宗棠、彭玉麟等相處得很不好，與李元度的交情倒是很好。后來，李元度因輕敵冒進而又不聽指揮大敗于太平軍，曾國藩便令李鴻章彈劾李元度。但李鴻章拒不聽命，還與恩師鬧翻，李鴻章便憤而離開了湘軍大營。

曾國藩也意識到自己的過分，便主動寫信招請弟子回來，再經過胡林翼、郭嵩燾等朋友的勸說，李鴻章于第二年又重新回到了湘軍大營。為了彌補湘軍在湖南兵力的不足，曾國藩便命李鴻章回合肥老家招兵。蛟龍歸海，李鴻章很快便迎來了自己事業(yè)的春天。

李鴻章回到合肥后，憑借家族世交和自己的名望，迅速招募地方團練武裝，張樹生、劉銘傳、潘鼎新等人被納入麾下，組成了淮軍武裝的底盤。李鴻章將這支數千人的淮軍帶到安慶，曾國藩按照湘軍的規(guī)制進行了整編，并交由李鴻章統(tǒng)領。隨著隊伍的不斷壯大，李鴻章成了統(tǒng)帥上萬兵馬的淮軍統(tǒng)帥，并逐漸脫離了湘軍的陣營。

咸豐十年（1860年），清政府苦心經營的江南大營第被太平軍攻破，清軍在長江下游地區(qū)的最后一支主力也失去了，江南豪紳地主紛紛逃到了上海。為了免遭滅頂之災，豪紳們一方面請來西方雇傭軍（美國人華爾成立的“洋槍隊”。后來改為“常勝軍”），一方面還派人去請曾國藩派兵救援。曾國荃當時正在攻打南京，鮑超又身染疾病，其他湘軍將領又不在身邊。曾國藩便想到了李鴻章，渴望建功的李鴻章便欣然應允。

同治元年（1862年），上海士紳斥銀18萬兩，雇了7艘英國商船，將在安慶的淮軍從太平軍眼皮底下分期分批地運到了上海。

初到上海的淮軍引起了常勝軍的哄笑，淮軍的裝備陳舊軍服殘破，看上去如同一群叫花子。不以為動的李鴻章激勵將士勇于作戰(zhàn)，當年的下半年就獨立進行了虹橋、北新涇和四江口的三次惡戰(zhàn)，成功守住了上海，中外人士對這支淮軍刮目相看。

為了增強保衛(wèi)上海的實力，李鴻章購買了一批先進的洋槍洋炮來裝備淮軍，淮軍的戰(zhàn)斗力大大增強。雖然人數不占優(yōu)勢，但戰(zhàn)斗力遠遠超過了太平軍，從此，太平軍便不足為懼了。

這時候，湘軍走過了它的鼎盛時期，一個屬于李鴻章和淮軍的時代到來了。

也是在這一年，時年39歲的李鴻章被實授江蘇巡撫，成為清朝最為富庶地區(qū)的軍政大員之一。此后，淮軍集團便悄然崛起，李鴻章渴望建功立業(yè)的時候終于到來了。