南京脫險后，廖耀湘趕到當時的國府行政中樞武漢。1938年初，國民政府成立了第一支機械化師200師，這支部隊是當時國軍裝備最好的，專門在法國進修機械化作戰(zhàn)的廖耀湘任少將參謀長。1938年9月，200師擴編為新11軍，廖耀湘轉(zhuǎn)任22師副師長。

1939年11月，昆侖關(guān)戰(zhàn)役打響，這是一次中日兩支鋼鐵部隊硬碰硬的交戰(zhàn)，當時22師劃歸新5軍，軍長杜聿明，22師師長邱清泉，包括廖耀湘在內(nèi)，都在這場戰(zhàn)役中威名遠揚。

昆侖關(guān)位于廣西境內(nèi)，距南寧七十華里，周圍群山環(huán)抱，地勢險要。1939年12月4日，日軍占領(lǐng)昆侖關(guān)，直指滇、黔，威脅陪都的安全。昆侖關(guān)日前已被日軍搶占，直接威逼重慶。統(tǒng)帥部要求將昆侖關(guān)奪回來。同年12月18日，新5軍在其他友軍的配合下，向昆侖關(guān)猛攻，駐守昆侖關(guān)的是日軍第五師團第二十一旅團，號稱“鋼軍”。進攻的國軍主要是200師和22師兩支機械化部隊，此役廖耀湘表現(xiàn)非常搶眼，身先士卒帶領(lǐng)部隊打沖鋒。是役日軍4000余人被擊斃，旅團長中村正雄被擊斃，戰(zhàn)后從陣地搜索出他的日記本，中村如此記載：“帝國皇軍第五師團第二十一旅，之所以在日俄戰(zhàn)爭中獲得‘鋼軍’稱號，那是因為我們的頑強戰(zhàn)勝了俄國人的頑強。但是，在昆侖關(guān)我應(yīng)該承認，我遇到了一支比俄國軍隊更強的軍隊?！眲∽骷姨餄h事后采訪了廖耀湘，將其比喻成北宋名將狄青。

戰(zhàn)后論功行賞，邱清泉任新5軍副軍長，廖耀湘升任22師師長。

1942年3月，廖耀湘率22師遠征緬甸，配合盟軍對日作戰(zhàn)，但戰(zhàn)局出現(xiàn)了逆轉(zhuǎn)，英國人決定放棄緬甸，新五軍西渡怒江，接應(yīng)200師從同古撤退，一場血戰(zhàn)后，回國的路已經(jīng)被日軍56師團堵住，廖建議軍長杜聿明沖擊防線，杜沒有采納，命令部隊進入野人山。進山22師尚有7000余人，在野人山中損失一半以上，四個團長都死在野人山突圍的途中。最后，杜聿明率軍部回國，廖耀湘帶領(lǐng)3000余人撤退到印度。新22師和先一步達到印度的孫立人的38師組成新1軍，軍長鄭洞國。新22師在印度蘭姆迦整訓(xùn)。1943年10月，第二次緬甸戰(zhàn)役打響，廖耀湘率部向緬北挺進，與新38師密切配合，二進野人山，占領(lǐng)了胡康河谷，攻克于邦、下孟關(guān)、攻占瓦魯班……在整個緬甸反攻戰(zhàn)役中，新22師給日軍王牌18師團毀滅性打擊，殲敵20000有余，一雪1942年初年兵敗野人山的恥辱。

緬北反攻勝利后，第14師和第50師空運來到緬北反攻的前線，駐印軍擴為兩個軍，和加上新22師組成了新六軍。廖耀湘任新6軍軍長，隨后攻克八莫、南坎、芒市，打通了遍染鮮血的滇緬公路，此時，抗戰(zhàn)已接近尾聲，新6軍在戰(zhàn)火中成長為國軍裝備最精良、兵員素質(zhì)最高的一支王牌軍。

1945年4月，雪峰山戰(zhàn)役打響。統(tǒng)帥部命令廖耀湘率新6軍從緬北空投到芷江，作為此次戰(zhàn)役的總預(yù)備隊。爾仗，主要是74軍、18軍、73軍、100軍等兄弟部隊打的。

雪峰山戰(zhàn)役完畢不久，《美國紐約時報》發(fā)表評論說：“芷江會戰(zhàn)勝利佳音，可視為對日戰(zhàn)爭轉(zhuǎn)折之暗示?！辈痪?，這段評論就被言中。1945年8月15日，日本天皇裕仁接受《波茨坦公告》，宣布無條件投降。

抗戰(zhàn)勝利后，一個重要的問題是接收南京，史迪威的接任者魏德邁將軍認為，日本當時很囂張，并不認為他們失敗了，到南京去受降，部隊應(yīng)該有一種威懾力量。當時中國部隊有威懾力量是新1軍和新6軍，新1軍還沒有回國，新6軍就在芷江，就在空軍基地。到南京幾個鐘頭航程就行了，應(yīng)該讓新6軍去。 于是廖耀湘率領(lǐng)新6軍被空運到首都，接受日軍的投降。