据史书记载，早在四千年以前的新石器时代，先民就在菏泽市境内繁衍生息。汉代，今境内分属兖州济阴郡、山阳郡、东郡及豫州之梁国。唐代，今境内属河南道，中部属曹州，东部属濮州，东北部属郓州，南部属宋州。明代，今境内大部属山东承宣布政使司所辖的兖州府。1959年9月，菏泽专区恢复，仍领原8县。1960年10月，改菏泽县为菏泽市。1963年3月16日，改菏泽市为菏泽县。1983年9月，菏泽县再次改为菏泽市（县级）。1989年12月22日，梁山县划归济宁市。2000年6月10日，经国务院批准，改菏泽地区为菏泽市（地级），原菏泽市（县级）更名为牡丹区。
截至2023年12月31日，菏泽市下辖2个市辖区、7个县，分别为牡丹区、定陶区、曹县、单县、成武县、巨野县、郓城县、鄄城县、东明县。