山东的名称，最早出现在战国时期，金代以前为地理概念，泛指崤山、华山或太行山以东的黄河流域广大地区。

当时，关中的秦人，称崤山或华山以东的地区为山东，有时也泛指秦以外的六国领土。山东是一个地域性的泛称，不是一个准确的地理概念。至唐代和北宋时代，太行山以东的黄河流域广大地区被称作山东，到了唐代末年，有人用山东专指齐鲁之地。到了金代大定八年置山东东、西路统军司，山东遂成为正式行政区划名称。清朝初年，设置山东省，山东基本沿袭明代山东的版图，称山东省。

山东是中国古代文明的发祥地之一。距今约7000至4000年之间，先后出现了新石器时代的北辛文化、大汶口文化和龙山文化。在山东还发现了中国最早的文字“大汶口陶文”和“龙山陶书”；最早的城邦“城子崖龙山古城”；最早的古代军事防御工程古“齐长城”和被列为中国“2000年考古十大发现”的洛庄汉墓等。