山东一名，是典型的以山川地理概念来命名的。主要指崤山、函谷关、华山或太行山以东的黄河流域广大地区。
大禹分九州时，山东属青州。到了周朝，实行“封邦建国”分封制，山东这块土地上分封了诸多诸侯国，包括齐国、鲁国、莒国、滕国、纪国、邾国等，其中以齐国、鲁国最强盛，所以后人常称呼山东为“齐鲁大地”。
山东省地图
春秋初期的诸侯国
春秋后期的诸侯国
到了战国时代，齐国成为七雄之一；而今日山东的大部分地区都由齐、鲁两国拥有。“山东”之名始见于金朝，设置山东东路及山东西路；元朝时，在山东地区设立了东平行省、济南行省、山东淮南楚州行省、益都行省、山东行省等。山东首次以行政区之名出现。直到清朝初设置山东省，此为正式得名。
山东之名，始于金朝。
金朝，设置山东东路及山东西路，东路治益都，西路治东平。
元朝，在山东地区设立了东平行省、济南行省、山东淮南楚州行省、益都行省、山东行省等。行省下设路、府、州、县，形成了四级地方行政制度。
明朝，沿袭元制的行省制度，后改制分为三司（都指挥使司、布政使司、提刑按察使司，合称“都、布、按”三司），设立山东布政使司。
清朝初，设置山东省，“山东省”正式成为省名。
简称“鲁”的来历
山东这片土地，又名齐鲁大地，其实可以简称“齐”和“鲁”都是可以的，但最终选择“鲁”而未选择“齐”，大概有如下几个原因。
- 齐国是战国七雄之一，而鲁国此时已被楚国所灭。战国其他六雄（秦国、楚国、燕国、赵国、魏国、韩国）国名没有作为现在其他省份的简称，也是没有选择“齐”作为山东省简称的原因之一。
- 鲁国对中国文化的影响大。我国儒家文化是中华文化的重要组成部分，从古至今对中国文化、社会及统治阶级的影响深刻，以孔子为代表的儒家文化就诞生于鲁国。
- 鲁国的正统地位。从远近亲疏来看，鲁国是周王的弟弟的封国，齐国最早是开国功臣姜子牙的封国，鲁国是周王室封国更正统些。后来，齐国发生了“田氏代齐”的事件，这被认为是非正统的齐国。
- 历史社会的认可。鲁国是春秋时期唯一一个可以和周使用同规格礼仪的诸侯国，鲁国是相对周礼更加完备,时人称“周礼尽在鲁矣”。
- 担心读音相近。民国时期，在电报架设上，各省都需要上报自己的简称。当时的河北地区属于直隶省，地位较高，率先报了“冀”的简称。至于山东省，因为“齐”的读音和“冀”相近，为了防止混淆，所以山东省采用了“鲁”的简称。新中国成立后，也延用了这种叫法。
