打仗是需要大量烧钱的，这一点，曾纪泽也心知肚明。而且，当时各国都跟清政府建立了外交关系，曾纪泽要与清廷分庭抗礼，或者反清，洋人的态度是个很现实的问题，需要解决。
李鸿章跟曾纪泽谈话时，一句话提醒了曾纪泽，跟洋人打交道，最重要的是一个”利”字！曾纪泽想到了一个好办法：那就是借外债，通俗点讲，叫借鸡生蛋。
曾纪泽知道，在近代历史上，甲午战争中，日本也是借钱打仗，借鸡生蛋。日本当时的军事预算，在1894年10月在日本广岛召开的第七届临吋议会通过的预案是临时军事费用是1.5亿日元和发行战争债券1亿日元，不仅使得日本有钱打仗，还使日本和英美的关系更加紧密。而日俄战争中，日本之所以能打败沙俄，重要原因就是日本发行了大量战争债券，日俄战争的战争费用高达17亿日元，是日本国家财政6年的预算，其中外债8亿，9亿内债透过增税取得，这17亿日元当时约合十亿两白银。
为了以后的战争做准备，而且让洋人支持自己，曾纪泽在上海不断截留各种关税的同时，还在向在上海的外资银行大举借债。
在上海借外资的条件也是得天独厚，自上海通商以后，英商丽如银行率先抢滩上海，到1864年，先后有利华银行、汇隆银行、麦加利银行、汇川银行、利生银行等十数家银行在华建立分行。而且上海堪称当时中国最为自由的城市，存在着多个国家的租界，有着相当宽松的政治经济环境，外国人享受相当大的特权，进入上海时甚至不需要签证。
这些涌入上海的外资银行，利用上海有利的资本环境，迅速扩大经营，对上海成为世界金融中心起了极大的推动作用。而这些银行中，有相当一部分是国际知名的大银行，它们的股东和客户中，有很多在世界经济中举足轻重的大财团和大公司，在各国议会核政府中有很大的影响力。
曾纪泽借款的抵押是上海租界周围，大约近八千亩的官地地一百年使用期，借款合约规定，还款期将从平定太平天国叛乱时起，分五十年还清，利息为百分之一点五。
狡猾的洋人们很清楚大清国的形势，他们知道太平天国的叛乱将很快结束，这笔钱稳赚不赔。曾纪泽向各国银行借了一千三百万两白银。曾纪泽将这些银子，一部分投入到军舰和弹药购买上，除了为他即将训练成军的一个步兵团，两个炮营购买武器装备外，还用来购卖弹药。这使得淮军仓库中储备的弹药，将足够在不依赖进口的情况下，支撑四到五年的消耗。而考虑到淮军的作战向来是不吝惜弹药，如果能节省使用的话。足够他们使用十年以上。
别一部分接近六十万两的银子，除了买下阿思本舰队，曾纪泽分别向英德再订购七艘炮舰，江南制造局仍在建设之中，甚至连一艘木船都造不出来，更何况就算船厂造成，以现有的技术能力，每年能造一艘铁皮炮舰就已经不错了，很难在短时间内为曾纪泽聚起一支足够强大的先进海军。所以，曾纪泽采取了当年李鸿章的手法，“造不如买”，只要肯花钱，在这样一个军火封锁不严重的时代，他绝对能够迅速建立起一支足以纵横中国的“华夏舰队”。
另外有一百万两白银，曾纪泽在上海还建立了淮军军官学堂，培养陆军军官，也培养海军军官，要求学员以坚持不说谎、不欺骗、不偷窃的荣誉信条，也不纵容他人违反；立志成为允文允武、术德兼备的军官；信守爱国、责任、荣誉、牺牲、团结、勇气、自信的核心价值，当然，爱国家不等于爱满清朝廷，是曾纪泽多次跟浦东学堂的学员强调的。
曾纪泽决定把淮军军官学堂设在崇明岛上，崇明岛地处长江口门户，比较大，是中国第三大岛，成陆已有1300多年历史，全岛地势平坦，土地肥沃，林木茂盛，物产富饶，是有名的鱼米之乡，便于陆军和海军学员学习与练武。而且崇明岛有金鳌山、寿安寺、孔庙、唐一岑墓、明潭、郑成功血战清兵的古战场等遗址，略加修葺，即可使用，还可节省人力和资金。
曾纪泽坐军舰登岛考察，发现崇明岛上，地势平坦，景观如同江南田地，初到崇明岛的人，甚至感觉不到已到了岛上。一片片绿油油的庄稼、一道道灌溉用的水渠，村落密布，道路交错，并无一般海岛的荒凉感觉。他让军官学堂的大门坐南向北，面临珠江，在牌坊门额上书有白底黑字的“淮军军官学堂”横匾，曾纪泽亲自手书，曾纪泽从小训练书法，书法也很不错，毛笔字自成一体，拿得出手。
淮军军官学堂建立时，曾纪泽又在门口亲手写了一副对联：升官发财请往他处，贪生畏死勿入斯门。每期学员招收两千人，陆军一千五百，海军五百，一期六个月。
曾纪泽亲自当淮军学堂的总教官，他也为淮军军官学堂的导师提供优厚的待遇，招收学员大多是那些从土改中获益的士兵和新编训入伍的农民。他们训练的步枪有三分之一以上是上海武器制造局生产的改进式连珠枪，这种经过加特林和斯宾塞主导改进后的步枪，还开设炮科、工科等军事课程，外聘有洋教员，一些淮军将领也经常去上课，比如刘铭传等。每期学员的开学典礼和毕业典礼，曾纪泽都是亲自参加，对他们耳提面命。
“大人，为何向洋人借这么多的银子呀，要借的话，上海有的我咱们本国的钱庄，这笔买卖，何必便宜了洋人。”刘铭传对曾纪泽这种做法不是很理解。
“东南半壁已是英法列强的势力范围，这其中又以英国人在华的势力最强大，咱们既要起事，英国人中立便罢，一旦他们站在了清廷的一边，咱们的处境就十分的不利。你看，如果那长毛有英国人的支持，他们还沦落到现在的这般田地吗？”曾纪泽解释说，“而且，我们的还款期很长，洋人要收回债，就得支持我们。别人万一不认账怎么办？哈哈。”
刘铭传恍有所悟：“大人莫非是借借款之事，绊住英人的手脚，让他们有所顾忌，不敢轻易倒向清廷。”
曾纪泽笑道：“洋人最是狡猾狠毒，他们既我中国有一个稳定的政权，好为他们的贸易侵略安全稳定的市场。但同时，他们又不愿看到中国富强起来，有一天能够抵御他们的侵略。你不见长毛起事之处，从洋人那里获得了多少枪炮，朝廷几番照会，他们都不当回事。到后来太平天国被咱们打得不成样，大势已去时，他们才假惺惺的决定支持清廷，严禁向长毛走私军火。”
“所以大人才要将洋人的在华利益，跟咱们紧紧的拴在一起，让他们不敢去支持清廷，甚至，他们还为了自己的利益，转而来支持我们。”刘铭传明白了曾纪泽用意，显得很是兴奋。
曾纪泽没刘铭传那么兴奋，在这样一个时代，华夏已为满清的统治残害得满目疮痍，科技落后、化僵固、思迂腐、精神馋弱。泱泱中华，已经被满清这个病毒尽毁。到了这个时代，已不得不借助外部的力量，以一种近似屈辱的方式，对这个垂死的政权，需要脱胎换骨，中国才有涅磐重生和复兴的希望。
李鸿章对于曾纪泽借外债的举措同样有所质疑，他特意书信一封，表示了对将把柄操于洋人之手可能带来的威胁。曾纪泽没有给李鸿章一个完整的解释，因为曾纪泽觉得现在还不是把计划全盘托出的时候。
曾纪泽把朝廷的批复拿出来做幌子，他让李鸿章给朝廷的奏折中称，他必须购买更多的军火，以确保尽可能快的消灭长毛的叛乱。清廷方面是得了恐太平天国症，只要能够尽快的消灭发匪，西太后和恭亲王也顾不得什么体面，同意了曾纪泽和李鸿章的奏请。
随着各方面准备工作的落实，出兵西征的日期渐已临近，曾纪泽听到了一个不太好的消息。作为此次西征主力大将刘铭传，他重病已久的夫人不久之前病逝了。曾纪泽为了表示关心，亲自前去刘府祭奠已逝的刘夫人。马车停在了热闹却又安静的刘府门口，不少淮军在沪的将领，以及江苏衙门的官吏们，都抽出时间来参加刘夫人的祭奠仪式。这也难怪，堂堂巡抚大人给刘铭传面子，他们这些个做下属的又哪敢不给呢。
此后，曾经泽下了死命令，要求淮军营一级的军官，必须在年底以前，将直系亲属接到上海居住，官府将免费为他们解决宅地问题，敢有违抗者，就地解除军职，逐出淮军。
而土地改革也在江苏全面推广，仅苏州府一地，将近有八万无地的农民获得了土地，这其中大部分的土地，都是战乱遗留下来的无主荒地，另有五分之一的土地，则是根据“土地换股份”原则，从一些中小地主手中获得的田地，从这项土地中获得江南制造局股份的地主，将近有五千余人。
但这些地主所出卖的土地，要么不是土地质量较为贫瘠，要么就土地所处的地区不稳定，太平军的残部和土匪经常出没，抢掠地主们的收成。而这些遭劫掠的地主们，时常生活在恐荒之中，辛苦一年的收成，却大部分被人抢了去，他们的生活甚至更为艰难。土地换股份，是给了他们一个生存下去的机。
当然，农民们虽然憨厚，却不是白痴，这些地段不好的田地，他们也不主动去买。曾纪泽为保障江苏的每一寸土地都得到利合理用，加大了对省内太平军散兵游勇，以及本地土匪的打击力度。为此，他专门责成张树珊率先在苏南一带开展剿匪行动。
对于大股的太平军部队，曾纪泽一向是采取攻抚并用的方式，但对小股匪兵，曾纪泽严令张树珊格杀勿论，绝不给这些破坏江苏稳定的人任何活路。剿匪行动进行的很顺利，几个月时间内，苏南的兵匪基本被肃清。无地的农民，太平军的降兵，淮军淘汰下的退伍兵，这些主要地无产者们顺利的被安置在了土地上。因战乱而荒无人烟的乡村重新焕发了生机。
为了保障淮军士兵的作战积极性，曾纪泽颁布了特别的法令，规定凡淮军士兵。可以优先购买，以及挑选官府出售的土地。并且，每人可购的土地面积限制，由原来的十亩高到了十五亩，并且价格只是前者的一半。
这些淮勇们大多数或是依附于地主地佃农，或是穷苦的农民，或是太平军的降兵，他们拿起刀枪，无非就是挣一口饭吃。大多数人无非是想攒钱买几亩地，娶一房媳妇。现在，曾纪泽圆了他们的这个梦，他们做梦也不到，昨天还一贫如洗的他们，今日不但有丰厚的饷银，乡下还属于自己的田地。于他们而言，还有什么是比这更幸福的呢。他们从心底里感激他们的曾大人。
为了让这些受益的人记住是谁给他们的好处，曾纪泽在出售土地时，向农民们说清楚，这些土地只是江苏巡抚曾纪泽自作主张先行向他们出售地，如果朝廷最终驳回了江苏巡抚的奏请，所有出售地土地都将如数收回。
久而久之，江苏的农民对清廷是愈加不满，私下之时，尽皆破口大骂朝廷地无德。江苏省的淮军将士们，心中对朝廷地不满也是与日俱增，这股汹涌地怨气，就像是蓄势待发地火山，一旦时机到来，便爆发而出，那滚烫地岩浆。将无情地扑向满清地统治者们。
万事俱备之后，曾纪泽开始率淮军西征太平天国，开往天京，实施下一步计划，历史的车轮滚滚向前！