古代青州的含義和現在意義上的并不一樣。據記載，古時的九州分別指：冀州、兗州、青州、徐州、揚州、荊州、梁州、雍州、豫州。其中的青州大體包括河北、山東等地，因此從這個意義上講，濟南是屬于古青州無疑。

研究表明，濟南地區最早的國家出現在城子崖附近，被稱為譚國。西周分封后，濟南地區歸屬了齊國，但譚國仍在。在春秋時期，齊桓公以“不敬”之名，滅掉了譚國，齊國把濟南改名為濼邑、歷下邑。秦時，濟南歸屬濟北郡，稱歷下邑。漢初時，濟南的稱呼第一次出現，得名是因為地處四瀆之一濟水之南。漢初時還設立了濟南國，都在東平陵城（今章丘區龍山鎮）。直到西晉永嘉年間，濟南的郡治才從東平陵移至歷城。因此，濟南民間把這兩段歷史稱為“先有平陵城，后有濟南府”、“先有歷城縣，后有濟南府”。

隋唐三朝，濟南改名為齊州，宋金時升格為濟南府，元朝被稱為濟南路，隸屬于中書省。明朝時的德王在濟南開府，全省的政治中心也由青州遷移到濟南，濟南此后就成為山東的首府。清朝仍稱為濟南府，民國時濟南被稱為濟南道。