1936年5月，時任河北省委巡視員、直南特委書記30歲的黎玉被北方局派往山東，恢復和重建山東省委，并任省委書記。

山東省委書記黎玉

1938年4月，曾擔任過組織部副部長、陜甘寧邊區黨委書記29歲的郭洪濤率一批干部到山東，山東省委擴大為蘇魯豫皖邊區，郭洪濤任省委書記。

1938年12月，山東各地八路軍抗日游擊支隊改編為八路軍山東縱隊，32歲的張經武、30歲的王建安分別任正、副指揮，32歲的黎玉任政治委員。隨后蘇魯豫皖邊區省委改為山東分局，郭洪濤任書記，張經武、黎玉為委員。

第一任山東分局書記郭洪濤

1939年3月，34歲的代師長陳光、37歲的政委羅榮桓率領115師師部和686團進入山東。

1939年8月，正式成立八路軍第一縱隊，38歲的徐向前為司令員、34歲的朱瑞為政委，統一指揮山東與蘇北境內所有第八路軍各部隊。為了統一領導山東黨政軍民工作，北方局批準成立山東軍政委員會，隸屬北方局。朱瑞任書記，朱瑞、羅榮桓、徐向前、郭洪濤、陳光、黎玉任委員。

1939年10月，八路軍第一縱隊和山東縱隊合并組成統一的領導機關（山東縱隊的番號保留），山東縱隊總指揮張經武、原分局書記郭洪濤赴延安參加七大，朱瑞接任山東分局書記并兼任山東軍政委員會書記。

第二任山東分局書記朱瑞

1940年6月，八路軍第一縱隊司令員徐向前奉召返回延安，山東縱隊機關恢復建制。

1941年8月，山東分局由朱瑞、羅榮桓、黎玉、陳光組成，朱瑞為書記。分局委員的分工：朱瑞主持黨的組織工作，羅榮桓主持軍事工作，黎玉主持政府工作，陳光主持財經工作。

山東縱隊歸115師首長指揮，縱隊機關與115五師合署辦公，山東縱隊及115師兩軍政委員會合組為山東軍政委員會，羅榮桓為書記。

以朱瑞為首的山東分局領導人與以羅榮桓為首的115師領導人，就山東抗日根據地的統一領導問題發生爭論（1935年時朱、羅兩人曾是紅一軍團政治部的老同事，當時30歲的朱瑞任軍團政治部主任、33歲的羅榮桓任軍團政治部副主任）

1942年4月，政治局候補委員、華中局書記、新四軍政治委員劉少奇視察山東；

1942年8月，山東縱隊改編為山東軍區，由115師統一指揮，黎玉任政治委員，王建安任副司令員，江華任政治部主任。

1943年3月，115師與山東軍區合并（保留115師番號），成立新的山東軍區，115師代師長陳光奉命赴延安參加七大，羅榮桓擔任山東軍區司令員兼政治委員、115師政治委員兼代師長，黎玉任山東軍區副政治委員，115師政治部主任蕭華任山東軍區政治部主任，山東抗日根據地建立統一的軍事領導中心，同時實行黨的一元化領導，各級黨委成為各地區黨政軍民的最高統一領導機關，山東軍政委員會撤銷，朱瑞則繼續擔任山東分局書記。

1943年9月，朱瑞回延安中央黨校學習，羅榮桓接替擔任山東分局書記。至此山東抗日根據地實現了黨政軍一元化領導。

第三任山東分局書記羅榮桓

1945年抗戰勝利后，山東分局和華中局合并為華東中央局。山東抗日根據地則發展為一個擁有2400萬人口和12.5萬平方千米土地，轄5個行政主任公署、22個專員公署和127個民主縣政府的解放區。

前后兩任山東分局書記分別進軍東北，43歲的羅榮桓任東北人民自治軍第二政委，40歲的朱瑞任東北人民自治軍后方司令員。