日本投降后的1946年1月，中共中央軍委決定，新四軍軍部與山東軍區(qū)合并，組成新四軍兼山東軍區(qū)，統一領導山東和華中地區(qū)的軍事斗爭。陳毅任新四軍軍長兼山東軍區(qū)司令員，饒漱石任新四軍政治委員兼山東軍區(qū)政治委員，張云逸任新四軍第一副軍長兼山東軍區(qū)第一副司令員，主持新四軍軍部和軍區(qū)后勤及基地建設，黎玉任副政治委員，陳士榘任參謀長。同月，津浦前線野戰(zhàn)軍改稱山東野戰(zhàn)軍。

1946年6月下旬，國民黨撕毀停戰(zhàn)協定，發(fā)動全面內戰(zhàn)，調集58個旅約46萬人的兵力，采取由南向北、由西向東逐步壓縮的方針，大舉進攻山東、華中解放區(qū)。山東軍區(qū)各部隊，會同山東野戰(zhàn)軍第1縱隊，先后在膠濟鐵路（青島—濟南）西段和東段、魯南、魯西南、膠東、魯中、渤海等地抗擊進犯的國民黨軍，保衛(wèi)解放區(qū)。

當時，華東方面，我軍實際上是三線作戰(zhàn)：第一是蘇北，粟裕、譚震林等指揮第1、6師和7縱、9縱、10縱及后來組建的11縱；第二是淮北，陳毅、舒同指揮新四軍二縱三個旅（不久五旅南下蘇北作戰(zhàn)和淮南獨5團組建11縱）、七師三個旅和山東八師三個團；第三是膠濟線，張云逸、黎玉指揮葉飛一縱三個旅和山東第四、九師，和許世友的膠東第五師、六師。

面對東西夾擊的大量敵軍，山東軍區(qū)積極應戰(zhàn)，張云逸同黎玉等分析研究后決定，以地方武裝的民兵、游擊隊，在敵軍所到之處與后方廣泛地發(fā)動游擊戰(zhàn)爭，不斷地消耗敵軍的有生力量，制造和擴大敵人的缺點和過失，“以散耗集”；集中主力部隊力量，尋求敵人較弱的一點或數點，采用“聲東擊西”“調虎離山”“金蟬脫殼”“遠交近攻”等戰(zhàn)術，一連打了兩個多月的運動戰(zhàn)，“以集滅散”。敵人企圖在半個月內打通膠濟線的計劃終于告吹，有力地配合了我野戰(zhàn)部隊在南線的軍事作戰(zhàn)。張云逸協助陳毅指揮部隊，兩個月殲敵7000多人，使敵人打通膠濟線陰謀破產。

1946年10月底，國民黨軍第54軍、第8軍由膠縣、濰縣分路合擊平度縣城，企圖消滅膠東地區(qū)解放軍主力，并切斷山東解放區(qū)與東北解放區(qū)的海上聯系。山東軍區(qū)令膠東軍區(qū)部隊在平度、掖縣地區(qū)阻擊，魯中軍區(qū)部隊在安丘地區(qū)鉗制。接到指示后，張云逸部署膠東軍區(qū)和魯中軍區(qū)部隊于11月1日發(fā)動平(度)安(邱)戰(zhàn)役。我軍各地方武裝，在敵人出動之初，從敵人駐地出動開始，就展開節(jié)節(jié)阻擊，層層騷擾，遲滯國民黨軍的進攻速度，配合膠東軍區(qū)主力完成戰(zhàn)略展開。

11月1日，由膠縣出犯的國民黨第54軍進抵平度縣城以南的馬丘、白河廟、河岱地區(qū)時，膠東軍區(qū)第5、第6師和警備第3旅當晚進行反擊，殲敵第54軍一部，次日晨撤出戰(zhàn)斗；由濰縣出犯的國民黨第8軍向平度縣城以西猛攻，阻擊部隊予以殺傷后主動撤離，國民黨第8、第54軍于3日會合占領平度縣城。5日起，第8軍在空軍、海軍支援下向掖縣城進犯。膠東軍區(qū)部隊頑強阻擊，多次實施反擊，予以重大殺傷，擊落其飛機2架，于11日撤出戰(zhàn)斗。

魯中軍區(qū)第9師為配合膠東軍區(qū)部隊作戰(zhàn)，于4日晚突然攻擊安丘縣城守軍，全殲1個保安團及其他部隊4000余人，迫使第54軍由平度回援。此役，共殲國民黨軍1.5萬余人，粉碎了國民黨軍占領膠東解放區(qū)的企圖。戰(zhàn)役結束后，傷亡慘重的國民黨第8軍軍長李彌都不得不承認：“我?guī)П鴶的?，從未遭如此嚴重損失。”