31日，臺兒莊及其附近日軍已被第2集團(tuán)軍和第20軍團(tuán)第52軍完全包圍，正當(dāng)中、日兩軍在臺兒莊進(jìn)行陣地爭奪的殊死戰(zhàn)斗之時，在臺兒莊北部外圍的戰(zhàn)線上，日軍坂本支隊對第52軍側(cè)背形成威脅。受困的日軍在得到支持之后，立刻發(fā)動逆襲，臺兒莊各處陣地都遭到日軍強(qiáng)烈的反攻，孫連仲部又陷入苦戰(zhàn)之中。

4月2日第5戰(zhàn)區(qū)司令部給各參戰(zhàn)軍團(tuán)下達(dá)任務(wù)：

一、第20軍團(tuán)（含第75軍）以一部消滅洪山鎮(zhèn)北方之?dāng)?，以主力?日保持東南正面，向臺兒莊附近之左側(cè)背攻擊，逐次向左迂回，務(wù)在臺兒莊左側(cè)地區(qū)，將敵捕捉殲滅之。

因戰(zhàn)況進(jìn)展，須隨時折斷敵自嶧縣之退路，并對向城方向增援之?dāng)硣?yán)密警戒。

二、第2集團(tuán)軍右翼與第20軍團(tuán)聯(lián)系，于3日全線攻擊，消滅臺兒莊之?dāng)常坏?10師準(zhǔn)備以1旅由萬里閘附近渡河，向北洛附近敵之右側(cè)進(jìn)攻。

三、第3集團(tuán)軍前敵總司令曹福林指揮張測民支隊5個團(tuán)及游擊總指揮李明揚(yáng)所部為堵?lián)舯鴪F(tuán)，迅速南下向棗莊、臨城合圍。

4月3日，李宗仁下達(dá)總攻擊令。第52軍、第85軍、第75軍在臺兒莊附近向敵展開猛烈攻勢。日軍拼力爭奪，占領(lǐng)市街大部?？偣ラ_始以后，日軍頑強(qiáng)抵抗。

臺兒莊守軍第31師的4個團(tuán)已經(jīng)傷亡過半，由第30師調(diào)入城內(nèi)的兩個團(tuán)接替了部隊陣地，傷亡也很嚴(yán)重。至4月3日，臺兒莊城西北門、北門、東門、東南門均已陷于敵手，全城一半的面積已被敵軍占領(lǐng)。守軍仍據(jù)守南關(guān)一隅，拼死堅守，并組成大刀隊夜襲敵人，予敵以很大殺傷。敵軍連續(xù)發(fā)動了七八次總攻，并且使用燃燒彈，妄圖摧毀城內(nèi)所有房屋和軍民，將臺兒莊夷為平地。城內(nèi)各守備隊利用地形和斷墻殘壁，筑起第三道陣地工事，挨街逐巷與敵人周旋搏斗，并組織起200余人的奮勇隊，偷襲敵人據(jù)點(diǎn)，連連突破敵人陣地。守軍雖然英勇奮戰(zhàn)，但傷亡太大，實(shí)力愈來愈不支。

４月３日，日軍占領(lǐng)四分之三的臺兒莊地盤。池峰城師傷亡慘重，池峰城請求孫連仲讓其部退至運(yùn)河南岸。孫連仲斷然向池峰城命令道：“部隊絕不許撤，打到最后為止。士兵打完了你就自己上前填進(jìn)去，你填過了，我就來填進(jìn)去。有誰敢退過運(yùn)河者，殺無赦！”

池峰城奉命后，知軍令不可違，乃以必死決心，逐屋抵抗，任憑敵人如何沖殺，也死守不退。戰(zhàn)至黃昏，敵人即停止進(jìn)攻。至午夜，孫部先鋒敢死隊數(shù)百人，分組向敵偷襲，沖入敵陣，人自為戰(zhàn)，奮勇異常，官兵手持大刀，向敵砍殺，敵軍血戰(zhàn)數(shù)十天，已精疲力竭，不料中國軍隊尚能乘夜出擊。日軍在慌亂中倉促應(yīng)戰(zhàn)，亂作一團(tuán)，血戰(zhàn)數(shù)日為敵所占領(lǐng)的臺兒莊市街，竟為中國軍隊一舉奪回，敵人死傷累累。

4日深夜，此時臺兒莊孫連仲部守軍已傷亡殆盡，全莊四分之三地盤為日軍占據(jù)，孫連仲強(qiáng)烈地意識到，再孤軍死守，將全軍覆亡，于是他向李宗仁報告說：“第2集團(tuán)軍已傷亡慘重。敵人火力太強(qiáng)，攻勢過猛，但是我們把敵人也消耗得差不多了?？煞裾堥L官答應(yīng)暫時撤退到運(yùn)河南岸，好讓第2集團(tuán)軍留點(diǎn)種子，也是長官的大恩大德?！?/p>

李宗仁聽得出，孫連仲講這番話時，語調(diào)哀婉，他深知孫的處境是何等的艱難，又是何等的悲壯，但李宗仁更清楚，臺兒莊目前的重要性，他估算湯恩伯軍團(tuán)第二天中午可趕至臺兒莊北部，因此鼓勵孫連仲說：“敵、我在臺兒莊已血戰(zhàn)一周，勝負(fù)之?dāng)?shù)決定于最后5分鐘。援軍明日中午可到，我本人也將于明晨來臺兒莊督戰(zhàn)，你務(wù)必守至明天拂曉?！闭f完，李怕孫情緒低下，影響士氣，又下令道：“我的命令如若違抗，當(dāng)軍法從事?！睂O連仲以前雖和李宗仁只一面之緣，但聽人說過，李在戰(zhàn)區(qū)司令官中，屬較通情的一位，此時此刻李下這樣的命令，深知臺兒莊對整個戰(zhàn)役至關(guān)重要的價值，以及李宗仁對此次戰(zhàn)役勝利的信心。于是孫態(tài)度堅決地表示：“我絕對服從命令，整個集團(tuán)軍打完為止?！睂O連仲的態(tài)度，使焦急萬分的李宗仁感到有些安慰，但他總有些不放心，于是又指示孫連仲，“今夜你還須向敵夜襲，以打破敵軍明晨拂曉攻擊的計劃，則湯軍團(tuán)明日中午到達(dá)后，我們便可對敵人實(shí)行內(nèi)外夾擊?！睂O表示部隊已用完，夜襲不容易。李聽后立即指示：“我現(xiàn)在懸賞10萬元，你將后方凡可拿槍的士兵、擔(dān)架兵、炊事兵與前線士兵一起集合起來，組織一支敢死隊，實(shí)行夜襲。這10萬塊錢將來按人平分。”

孫連仲將李宗仁的命令傳達(dá)后，數(shù)百人一支的敢死隊很快成立起來。

4月5日午夜，敢死隊分組向敵出襲，沖擊敵陣。他們各個精神異常振奮。已是血戰(zhàn)數(shù)十天的敵軍，也精疲力竭，深夜正墜入夢鄉(xiāng)，聽到不知從哪來的槍聲，頓時亂作一團(tuán)，一面?zhèn)}皇應(yīng)戰(zhàn)，一面后退。經(jīng)數(shù)日血戰(zhàn)為敵所占的臺兒莊各街，竟在短短不到一小時內(nèi)，一舉奪回四分之三。此時，李宗仁不但得報孫連仲夜襲成功的喜訊，又得湯恩伯部翌日天明前可趕到臺兒莊的消息，高興極了，他立即率隨員，連夜親自趕到臺兒莊郊外，準(zhǔn)備親自指揮對磯谷師團(tuán)的殲滅戰(zhàn)。

4月6日，李宗仁趕赴臺兒莊附近，親自指揮全線總攻。中國軍隊全線出擊，殺聲震天。敵軍已成強(qiáng)弩之末，彈藥汽油用完，機(jī)動車輛多數(shù)被擊毀，其余也因缺乏汽油陷于癱瘓，日軍狼狽逃竄。日軍瀨谷支隊力戰(zhàn)不支，炸掉不易搬動的物資，向嶧縣潰逃。中國軍隊乘勝追擊，敵除瀨谷支隊殘部數(shù)千人逃掉外，其余全部被殲。一直防守的孫連仲部，聽說反擊，神情振發(fā)，命令一下，殺聲震天。李宗仁命令部隊猛追，敵兵遺尸遍野，各種輜重到處皆是，磯谷本人率殘部拼命突圍。中國守軍開始在臺兒莊內(nèi)肅清殘敵。