曾纪泽之所以要带李鸿章去安徽合肥招兵买马，是因为安徽合肥是李鸿章的老家，他的亲朋好友都在那里，李鸿章在曾国藩府上待了几年之后，为人更加成熟，名声自然在外，很多人都知道有李鸿章这号人物。加上曾国藩收复安庆，安徽团练对曾家军无不刮目相看，听说曾国藩的儿子曾纪泽亲自来招人，没有费多大心力便卓有成效。安徽当地那些兵勇也是一呼百应，纷纷聚集到曾纪泽的手下。
曾纪泽的幕僚，除了李鸿章，还有王闿运。王闿运劝说肃顺干掉慈禧失败后，就对他失望了，在曾纪泽北上勤王那段时间，他对曾纪泽的野心刮目相看，投在他的门下。
曾纪泽还带王闿运到安庆去见曾国藩，劝说曾国藩自立，但也失败了，便继续辅佐曾纪泽。
在王闿运和李鸿章的帮助下，曾纪泽将合肥西乡里的一些比较有名的团练都聚集在一起，这些比较有名的民办团练负责人有周公山下的张树声、张树珊兄弟，大潜山北的刘铭传，大潜山西南的唐氏兄弟，紫蓬山的周氏兄弟等。除此之外，还有解先亮、叶志超等人领导的官办团练。而在这些团练中，最善于打仗的是张氏兄弟、刘铭传和周氏兄弟的三支。曾纪泽对这些人很满意，尤其是豪气干云的刘铭传、张树声，觉得和他们意气相投。
张树声也是曾国藩让曾纪泽重点关注的人才。张树声听说李鸿章辅佐曾国藩，曾写信给曾国藩表达过自己的豪情壮志，说他有意和周氏兄弟、刘铭传一起做出点惊天动地的大事，请曾国藩加以指导。
曾国藩看了张树声写的信后，对曾纪泽说：“张树声此人，观其言，察其行，就好比渡江北伐匈奴的东晋名将祖逖。”
由于张树生的年龄在这三支团练的领导人中最长，因此他是其他两人的大哥。所以张树生对曾国藩表示了投效之意后，大家也都纷纷表示赞成。
曾国藩通过写信或派人联络等办法，征召庐州一带旧有的团练，给曾纪泽打下来良好的基础。
曾纪泽在安庆召集的团练中，最早编练的就是张树生统率的树字营和刘铭传统率的铭字营。不久之后，周氏兄弟的盛字营和李鹤章招募的人也纷纷聚集在曾纪泽的手下。至于李鸿章的学生潘鼎新、吴长庆，他们的队伍则分别被编为鼎字营、庆字营。
由于多方的配合，在短短的两个月之内，曾纪泽就成军数营，曾纪泽给他们配上了洋枪和开花炮，加上之前先练的洋枪队和洋炮队，二十三岁的曾纪泽独当一面指挥的队伍，成了湘军当中的精锐。
不久，曾纪泽和李鸿章所募淮勇陆陆续续抵达安庆，其中有张树声的树字营，刘铭传的铭字营，潘鼎新的鼎字营，吴长庆的庆字营等。其中，除了树、铭、鼎、庆等四营外，还有张遇春统领的春字营，它属于李鸿章在皖北办理团练的旧部，现在重新归李鸿章指挥。
树、铭、鼎、庆等各支队伍在安庆聚集之后，曾国藩按例提出要接见这些团练的头目。一来给曾纪泽的队伍打打气，二来观察一下这些淮勇将领，他善于看面相。
曾纪泽很高兴，率领部属驻扎在安庆北门城外，亲自带刘铭传和张树声等人进城里见曾国藩道贺。
当张树声和刘铭传等十几个主要团练负责人来到曾国藩的大厅之后，曾国藩躲在屏风后面一直不出来，却暗中观察各人的反应。
张树生反应最平淡，面无不悦之色，低头喝茶。
“这个曾国藩，是不是官做大了，给我们摆起谱来了。”而刘铭传则早已丧失耐心，道。要不是看在曾纪泽的面子上，依照自己的倔脾气，刘铭传早就破口大骂了。
经过一番观察，曾国藩认为张树声和刘铭传都是不可多得的将才，因此出来与他们见面后，说：“诸君皆人杰也，今日之会，天其有意致中兴乎？”
于是，曾国藩让曾纪泽特别留意张树声和刘铭传，还留他们一起就餐，在餐桌上畅谈用兵的方法以及怎样镇压太平军的计划。
曾纪泽招来的人马大部分是新勇，缺乏实际的作战经验，而且人数相对李秀成的三四十万大军来说也不多，保护上海是备显艰难。
李鸿章不想去上海送死，因此他向老师曾国藩诉说了这些困难，并且恳请曾国藩调拨数营湘勇，以增强战斗力。
曾国藩考虑一段时间之后，答应了李鸿章的请求，陆续给曾纪泽和李鸿章调拨了湘勇八营。这八营湘勇，包括曾国藩的两营亲兵，由*曾纪泽亲自统领，充当曾纪泽的亲兵；还有借自曾国荃的两营湘勇，归程学启统带；由滕嗣林、滕嗣武统带的林字两营，原为江苏巡抚薛焕在湖南招募，经曾国藩筛选千人，编入淮军；还有陈飞熊统带的熊字营、马先槐统带的垣字营，这两营湘勇原本是曾国藩在湖南召集而来，归陈士杰统领，但是由于陈士杰不愿前往上海，因此这两营兵勇拨归淮军。就这样，曾纪泽带去上海的军队一共15个营，共有9500人。
从此以后，曾纪泽有了一支属于自己领导的武装，从此名正言顺登上了历史的舞台。
曾纪泽组建淮军，虽然在曾国藩的支持下比较顺利，但是也遇到了很多困难，比如军心不稳；粮饷不够，但总的说来，淮军的建立对于曾国藩来说是利大于弊，它不仅壮大了湘军的力量，还让曾纪泽拥有了兵权，并且对镇压太平军、捻军等都起到了很大的作用。
曾纪泽想过这支军队的名字，因为大部分是安徽人，还是按照习惯叫淮军，叫什么并不重要，重要的是为他所用。
而且淮由湘出，湘军和淮军有着基本的一致性，特别是营制饷章、编制训练，它们是一脉相承的。并且湘军和淮军只听从曾国藩或者曾纪泽的指挥，完全成为了“曾家军”，其他省区的将帅根本无法指挥调动，即使是清廷也不能直接调遣。
不过，曾纪泽带军，自然有他的特点，和曾国藩带的湘军有很多不一样的地方。
湘军初创之时，兵将都来自湖南，它的组建原则是“选士人，领山农”。曾国藩选将领，都是选那些怀着“修身、齐家、治国、平天下”的读书人，他们利欲熏心而政治地位又不高，但是他们“忠君”的思想极为浓厚，因此曾国藩就以忠君报国的思想为精神支柱来统率湘军。而曾纪泽的军队成分则比较复杂，他选将领，重视人的才华和韬略，对于别人是否出身贫寒、是否读书不太关心，因此盐贩子出身的人和太平军的降将他都敢于任用。
淮军在15营的11位统领中，举人、禀生只各一人。程学启是太平军的降将；刘铭传是贩卖私盐的头子。这些都说明淮军将领的知识结构要比湘军将领差得多。至于兵勇方面，湘军士兵大多是山村朴实无华的农人，比较单一；而淮军则既有太平军的降将，也有飞扬跋扈的团勇，成员冗杂，还有洋枪队和洋炮队。
在曾纪泽的治军思想影响下，淮军不讲究什么门第、出身、师生纽带等关系，只要你拥有一腔热血，足够忠诚，都能得到重用。这样一来，不仅曾国藩对淮军刮目相看，而实际上淮军也已经成功地“金蝉脱壳”，走上了与湘军完全不同的道路。
除此之外，曾纪泽还开始建立自己的幕府，并且很快就召集了一批具有各种各样才能的实用人才。这些人里面有精通数学、天文的科学家，有懂得会计的经济学人才，也有懂得兵法的军事家等等。曾纪泽用人，从实际出发，尽力做到人尽其才，其中包括曾经去安庆求助的钱鼎铭也被收归旗下，为淮军办理营务。
淮军已经成立，如何从安庆进军上海又成了一个棘手的问题。因为安庆与上海不仅相距甚远，并且又要经过太平军控制的地区，其艰难程度可想而知。
曾国藩本来计划由水、陆两种方式进军上海，但是陆路的困难又让他放弃了这个想法。后来曾国藩写信给上海的吴煦，经过一番波折之后，终由上海的绅商出资白银18万两，才雇得7艘轮船开到安庆，加上曾纪泽带回的军舰护航，从而解决了淮军到上海的难题！
在离开安庆之前，曾国藩告诫曾纪泽要摆正“练兵学战”与“吏治洋务”的位置，并且要曾纪泽将军事放在首位。
不久，曾纪泽所统领的淮军15营士兵分为三批由安庆顺江而东，最终到达上海。
曾纪泽初到上海，就对这里的浮华之风和官僚作风有了一定的了解，因为当时苏沪绅商急忙赶往安庆求援，而上海当地的官员根本就没有商量如何出兵攻打太平军的计划。
曾纪泽思考许久，终于明白曾国荃为什么不来上海的原因，因为江苏巡抚薛焕也想把淮军置于他的管辖之下。正因为这样，李鸿章决定静观其变，等了解了上海的具体情况之后，再作打算。
曾纪泽知道，上海乃是中国重要的城市，只要控制了上海，就可以控制饷源，并且淮军是上海商人请来的，今后自己将上海当基地，配合南洋的大汉国，发展航海贸易，实力将会如日中天，而且，有了上海，大汉国就有了中国市场和全球市场。并且，上海人思想开放，修铁路，开办大学等都可以，曾纪泽为自己确定了一个长期的战略目标，逐步实现他既定的关于军事、学战、吏治、筹饷和洋务等的战略方针。曾纪泽下定决心要冲破一切艰难险阻，闯出属于自己的新局面，而这一切的前提，就是先解决李秀成的部队。
而曾国藩极力让曾纪泽到上海援助，也有着他自己的计划。除了最基本的军事和政治目的外，曾国藩需要上海的税收能够为湘军带来充足的军饷。自从五口通商之后，上海的海关税收虽然有一定的收入，但是依然入不敷出。曾纪泽面临这个棘手的问题，采取了海关厘税分收分用的政策。湘军、淮军等费用都来自税收和厘金，并且当时上海的厘金收取率是全国最高的。在曾纪泽的安排下，已经基本上解决了淮军的军饷问题，并且还以金钱和物资的方式支援了湘军在西线战场。
为了减轻曾纪泽在上海的军事压力，曾国藩下令曾国荃率领的湘军陆师与彭玉麟率领的湘军水师推进至江宁城外。
城内的天王洪秀全得知这一消息，立马就慌了神。自江南大营被攻破后，江宁外围已经很久没有敌军围城。现在突然杀来这么多湘军，领兵的还是曾国藩的弟弟曾国荃以及曾国藩的重要嫡系将领彭玉麟，洪秀全怎能不心慌！
当时，李秀成正带兵攻打上海，由于遇到淮军以及洋人常胜军的抵御，进展一直很缓慢。洪秀全亲自连续颁布几道天王诏书，言辞犀利，命令李秀成立即率兵回援天京。
李秀成不得已，只好放弃上海，返回苏州，召集众将领商讨下一步行动。
李秀成认为，湘军的气势正盛，如果在这个时候选择与湘军决战，必然吃亏。只有等到湘军疲惫之时，与之决战才能有比较大的胜算。李秀成将自己的想法上报洪秀全，结果遭到洪秀全严厉谴责：拥兵自重，胆大妄为！
洪秀全认为李秀成是在搞独立，为了扩充地盘不顾天京守备，并且明令他赶紧亲自带兵回援天京，否则以谋逆处置。
李秀成不敢违令，只好率领六十万大军前来天京解围，同时命护王陈坤书率水营攻打金柱关，切断吉字营的粮道。
洪秀全要李秀成赶紧和吉字营决战，赶走曾国荃。这一战，李秀成本来是不愿意打的，迫于天王的压力才不得不打。