1937年10月，日軍向山東進攻。中共山東省委(書記黎玉)在沒有主力部隊的情況下，指示各地黨組織廣泛發(fā)動群眾，舉行抗日武裝起義。從1937年11月到1938年3月，山東先后有十幾個地區(qū)爆發(fā)武裝起義。在膠東，起義隊伍從敵偽手中收復(fù)蓬萊、黃縣、掖縣后，用民主的方式推 選縣長。這是在山東最早建立的三個縣級抗日民主政權(quán)。山東省委還大力開展統(tǒng)一戰(zhàn)線工作，其中成效最顯著的是同原國民黨山東省第六區(qū)專員兼保安司令范筑先，建立了合作抗日的親密關(guān)系。共產(chǎn)黨派遣一大批黨員干部、民族解放先鋒隊隊員和愛國青年到范部工作，幫助建立起一支約6萬人的抗日武裝，開辟了魯西北30多 個縣的抗戰(zhàn)局面。[1] 先后在徂徠山、天福山、黑鐵山、泰西等地組織武裝起義，建立人民武裝，開展游擊戰(zhàn)爭，開辟了膠東、魯中、魯西、清河、湖西、魯南等抗日根據(jù)地。

1938年5月，根據(jù)中共中央決定，中共山東省委擴大為中共蘇魯豫皖邊區(qū)省委。12月，成立中共中央山東分局，郭洪濤先后任區(qū)黨委書記及分局書記。同時山東起義部隊改編為八路軍山東抗日根據(jù)地山東縱隊，張經(jīng)武、王建安任正、副指揮，黎玉任政治委員。山東縱隊成立對山東抗日根據(jù)地的鞏固和發(fā)展具有重要意義。

1939年3月初羅榮桓與陳光率八路軍115師師部和主力一部進入山東魯西地區(qū)。1939年8月1日，山東縱隊正式組建為八路軍第一縱隊，徐向前任司令員，朱瑞任政治委員，指揮樊壩、梁山等戰(zhàn)斗，重創(chuàng)日偽軍，擊斃日本中將2名，少將1名。到1940年底，山東抗日根據(jù)地面積已達3600平方公里，人口1200萬，成為聯(lián)系華北與華中兩大敵后戰(zhàn)場的樞紐。

從1939年羅榮桓與陳光率八路軍115師師部和主力一部進入山東境內(nèi)后，羅榮桓堅決執(zhí)行中共中央關(guān)于在統(tǒng)一戰(zhàn)線中堅持獨立自主的原則，強調(diào)團結(jié)抗日的友軍和愛國進步人士，孤立和打擊制造摩擦的國民黨頑固派。他率領(lǐng)的115師部隊，與山東人民抗日起義武裝組成的八路軍山東縱隊并肩作戰(zhàn)，先后在魯西、魯南、冀魯邊、魯中、濱海地區(qū)發(fā)動群眾，建立抗日民主政權(quán)，發(fā)展人民武裝，鞏固和擴大抗日根據(jù)地。1941年8月羅榮桓任山東軍政委員會書記。同年冬，日偽軍5萬余人"掃蕩"魯中抗日根據(jù)地，中共中央山東分局和115師師部等領(lǐng)導(dǎo)機關(guān)被日偽軍合圍于沂水留田一帶。他準確地分析敵情，掌握時機，出敵不意地率部向日軍占領(lǐng)區(qū)臨沂方向轉(zhuǎn)移，跳出敵人重圍。后又返回根據(jù)地中心地區(qū)，領(lǐng)導(dǎo)軍民堅持斗爭，挫敗日軍在山東進行的規(guī)模最大的一次"掃蕩"。

1943年3月羅榮桓任山東軍區(qū)司令員兼政治委員，115師政治委員、代師長，中共中央山東分局書記，統(tǒng)一領(lǐng)導(dǎo)山東抗日民主根據(jù)地的黨政軍工作。他重視黨的思想建設(shè)和組織建設(shè)，領(lǐng)導(dǎo)了整風(fēng)運動。在抗日戰(zhàn)爭最艱難的歲月，領(lǐng)導(dǎo)山東軍民進行精兵簡政，實行主力部隊地方化，加強連隊基層建設(shè)，開展分散性、群眾性游擊戰(zhàn)爭，針對日軍對根據(jù)地的"掃蕩"和"蠶食"，提出"敵人打過來，我們就打過去"的"翻邊戰(zhàn)術(shù)"，扭轉(zhuǎn)了山東抗日根據(jù)地的被動局面。

1944年開始八路軍在山東抗日根據(jù)地組織了一系列戰(zhàn)役，實行局部反攻，鞏固、發(fā)展了山東抗日根據(jù)地。1945年羅榮桓指揮部隊在山東進行大反攻，控制山東境內(nèi)的津浦、膠濟、隴海鐵路，收復(fù)除濟南、青島少數(shù)城市之外的山東大部地區(qū)。此時羅榮桓的麾下已經(jīng)是擁有27萬正規(guī)軍的、共產(chǎn)黨在全國最強大的軍事集團，建立了中共最強大的抗日根據(jù)地----山東抗日根據(jù)地，正規(guī)軍人數(shù)占共產(chǎn)黨軍隊的三分之一。6月，他被選為中共第七屆中央委員?？谷諔?zhàn)爭勝利后，從1945年10月底開始，羅榮桓領(lǐng)導(dǎo)的山東軍區(qū)部隊陸續(xù)出發(fā)，除個別部隊是走陸路外，其他絕大多數(shù)都是分三批乘船到東北的。山東軍區(qū)開創(chuàng)了解放軍歷史上最大規(guī)模的渡海行動。10月24日，羅榮桓接到中央的電報，要他"率輕便指揮機關(guān)，日內(nèi)去東北"。除6萬余人正規(guī)部隊以外，山東軍區(qū)還派往東北20個基干團，約3萬人。這樣，山東軍區(qū)在抗日戰(zhàn)爭結(jié)束后，向東北共輸送了9萬人的干部、戰(zhàn)士。

抗日戰(zhàn)爭末期，八路軍山東軍區(qū)部隊在統(tǒng)一部署下，向全區(qū)的日偽軍展開的進攻作戰(zhàn)。1945年8月10日,日本政府發(fā)出乞降照會。遵照中共中央指示和中國解放區(qū)抗日軍總司令朱德發(fā)布的大反攻命令，中共中央山東分局和山東軍區(qū)號召全區(qū)軍民緊急動員起來，向敵占城鎮(zhèn)進軍。山東軍區(qū)司令部于 8月11日發(fā)布向大城市進軍命令，并將全區(qū)部隊大部編成野戰(zhàn)兵團。山東各地由10萬余名民兵組成數(shù)十個"子弟兵團"，開赴前線配合主力作戰(zhàn)，同時動員10萬余民工，支援前線。8月16日,山東軍區(qū)司令員兼政治委員羅榮桓、副政治委員黎玉、政治部主任蕭華指揮所屬部隊，兵分5路,向敵占城鎮(zhèn)和交通要道展開反攻。

1、以魯中軍區(qū)部隊組成的第1路軍,在該軍區(qū)司令員王建安、政治委員羅舜初率領(lǐng)下，向濟南及膠濟鐵路西段、津浦鐵路濟南至兗州段沿線的日偽軍進攻。至8月底,先后解放臨朐、萊蕪、 益都、博山、 淄川、章丘、周村、新泰等城鎮(zhèn)，切斷了膠濟鐵路西段，從東南方向逼近濟南市。

2、以濱海軍區(qū)部隊組成的第2路軍,在該軍區(qū)司令員陳士榘、政治委員唐亮率領(lǐng)下，分南北兩線作戰(zhàn):南線向隴海鐵路東段沿線的日偽軍進攻,8月21日解放贛榆、青口，切斷隴海鐵路東段，逼近海州、連云港;北線向膠濟鐵路東段沿線的日偽軍進攻，8月19日解放膠縣,切斷膠濟鐵路東段,保障了向青島進軍的第3路軍的翼側(cè)安全。

山東抗日根據(jù)地大反攻

3、以膠東軍區(qū)部隊組成的第3路軍,在該軍區(qū)司令員許世友、政治委員林浩率領(lǐng)下，向膠濟鐵路東段沿線、膠東半島沿海各城鎮(zhèn)的日偽軍進攻，至 8月26日解放牟平、威海衛(wèi)、福山、石島、龍口、招遠、萊陽、黃縣、蓬萊、煙臺、即墨等城鎮(zhèn)，突破嶗山防線，攻占流亭機場，逼近青島市。

4、以渤海軍區(qū)部隊組成的第4路軍,在該軍區(qū)司令員楊國夫、政治委員景曉村率領(lǐng)下，向津浦鐵路濟南至滄州和膠濟鐵路西段沿線的日偽軍進攻，至 8月底解放壽光、臨邑、 桓臺、廣饒、博興、高苑、 昌邑、長山、鄒平、青城、陽信、吳橋、臨淄等城鎮(zhèn),切斷膠濟鐵路中段,與第1路軍會合，從東北方向逼近濟南市。

5、以魯南軍區(qū)部隊組成的第5路軍,在該軍區(qū)司令員張光中、政治委員王麓水率領(lǐng)下，向徐州東北外圍地區(qū)及津浦鐵路徐州至兗州段沿線的日偽軍進攻,至8月下旬解放泗水、曲阜及臺兒莊、官莊火車站,切斷津浦鐵路,攻占九里山，直逼徐州市。正當(dāng)5路大軍相互配合作戰(zhàn),取得重大勝利之際，日偽軍于 8月底~9月中旬向解放區(qū)進犯。 先后奪占即墨、益都、 淄川、周村、王舍人莊、膠縣和博山等城鎮(zhèn)。9月初，山東軍區(qū)根據(jù)中共中央和中央軍委的指示，為粉碎國民黨搶占大城市和交通干線的企圖，修改了作戰(zhàn)計劃，調(diào)整了反攻作戰(zhàn)部署，以一部兵力加緊襲擊津浦鐵路滄州至徐州段、膠濟鐵路、隴海鐵路徐州至連云港段的日偽軍，破壞其運輸線;另一部兵力進攻殘存于解放區(qū)城鎮(zhèn)的日偽軍。[2]

戰(zhàn)至月底，先后解放諸城、日照、嶧縣(今棗莊市嶧城)、臨沂、平度、惠民、濟陽、齊東、鹽山、寧津、無棣、商河等城鎮(zhèn)，殲滅了守敵。山東軍區(qū)部隊經(jīng)過一個多月的反攻作戰(zhàn)，殲滅日偽軍6萬余人，解放了除鐵路沿線以外的大片國土。[2]

在八年抗戰(zhàn)中，山東抗日根據(jù)地軍民共作戰(zhàn)2600余次，殲日偽軍50余萬人。到抗戰(zhàn)后期，山東抗日根據(jù)地分為魯中、魯南、濱海、膠東、渤海(由清河與冀魯邊兩區(qū)合并)等區(qū)，擁有12.5萬多平方公里土地和2400多萬人口，人民武裝力量發(fā)展到27萬余人，為堅持抗戰(zhàn)和爭取抗戰(zhàn)勝利及以后的進軍東北展開遼沈戰(zhàn)役做出了重大貢獻。

山東抗日根據(jù)地紀念館，位于莒南縣大店鎮(zhèn)。這是山東省內(nèi)唯一一處全景式、全程式展示中共山東黨組織民主革命歷史的展館。1945年8月13日，中國共產(chǎn)黨領(lǐng)導(dǎo)下的第一個省級政權(quán)--山東省政府在莒南縣大店鎮(zhèn)成立，山東黨政軍領(lǐng)導(dǎo)機關(guān)移駐莒南，從而使山東抗日根據(jù)地成為我們黨擁有的最完整、最重要的以整個省區(qū)為主體的戰(zhàn)略基地，莒南也因此成為山東抗日根據(jù)地永久性的地理坐標。