曲阜作為地名十分古老。據說由於漢書記載「魯城东有阜，委曲长七八里」而得名。

相傳上古时炎帝、黄帝和少昊都曾在这里定都，故又称“少昊之墟”。現曲阜境內有壽丘（傳為黃帝出生處）和少昊陵，為後世重修。

据说商代属奄国。

周武王开创周朝时，将其弟、开国功臣周公旦分封在此，称鲁公，但只由其子伯禽领国，而周公本人则留驻中央、辅佐朝政。《史記·魯周公世家》：「封周公旦於少昊之虛曲阜，是為魯公。周公不就封，留佐武王。」于是，从周初起，这里作为鲁国都城，历经了八百七十三年历史，是周朝各诸侯国都中，定都时间最长的，以“礼義之邦”而著称于世。

周代曲阜城城墙为夯土版筑，全长11771米，其中东垣长2531米，南垣长3250米，西垣长2430米，北垣长3560米。四垣各开三座城门，南垣自西向东依次为稷门（又称高门）、南门（雩门）和鹿门；东面自北向南为上东门、东门、石门；北面自东向西为莱门、北门、争门；西垣自北向南为子驹之门、西门、吏门。鲁城城内中央为宫殿，遵循《周礼》中有关诸侯宫殿等级的规定，有库门、雉门、路门三重宫门。路门之内为寝宫，称为“路寝”。依据《礼记·檀弓下》和《史记·鲁周公世家》的记载，雉门外路东为宗庙区，有祭祀周文王的周庙、祭祀周公旦的太庙，以及祭祀伯禽以下历代鲁国诸公的宗庙，依昭穆顺序排列。雉门外路西为商代修建的亳社和周代修建的周社，两社之间为朝廷大臣办公区域。宫殿区之北为市场（《左传》鲁文公十八年，襄仲杀文公长妃哀姜之子，立次妃之子为宣公，哀姜归齐，从宫城出而过市，走北垣之门）。整座城市布局符合周礼中“左祖右社，面朝后市”的规范。除了宫城之外，在南门附近还有鲁僖公修建的泮宫。大城城西为制陶区，城北为冶金区，城东为军营，其余皆为民居、市场和娱乐设施。

春秋时期，这里出现了一位被后人尊为“文圣”、“大成至圣先师”的思想家、教育家、哲学家孔子。他的思想流派后来被称为儒家，深刻影响中国达几千年之久。孔子逝世后仅一年，鲁哀公就下令祭奠，到西汉时，汉高祖刘邦更以祭天的仪式来祭孔子。孔子的后人们便世居于曲阜，并接受历代朝廷的封赏，逐渐发展成为中国的第一大家族并延续至今。他们的家庙及府第曲阜孔庙及孔府在历代帝王的支持下，不断扩建，现已形成规模极其宏大的一组建筑群。其北的孔林是孔氏家族的墓地，大约有十万座墓冢，是世界上规模最大的家族墓地。曲阜孔府孔庙孔林（“三孔”）已于1994年被联合国教科文组织列入了世界遗产名录。

战国末期，鲁国被楚国灭亡后，楚国设置了鲁县。

秦朝置薛郡，魯縣為郡治。

西汉时，魯縣是宗室諸侯王封國鲁国的都城。汉朝鲁恭王刘余（汉景帝之子）为修建灵光殿，曾拆坏孔子旧居，从夹壁中出土大量当时已失传的春秋文献。刘余在鲁国宫殿北墙和东墙一线修筑新城垣，城池的面积缩小，四面各有两门：南面保留周朝的稷门和雩门；西边保留吏门，在其南新开麦门；北垣为龙门和闺门；东垣为齐门和章门。

新朝始建國二年，改魯國為魯郡。

东汉光武帝復魯郡為魯國，先后封刘兴和废太子刘彊为鲁王，沿用西汉鲁城。

三国和西晋时鲁县仍为鲁郡郡治，但城垣再度缩小。

隋代易名为曲阜县，属兖州。曲阜首次從地名正式成為行政區劃名。

宋真宗大中祥符五年（1012年）闰十月改名为仙源县。相傳黃帝出生地壽丘在此縣，而宋真宗宣稱黃帝是保生大帝降世（後又降世為宋朝皇室始祖趙玄朗），故此處為神仙之源頭。宋真宗江县治徙往寿丘，并建造景灵宫以奉祀黄帝，又特定仙源县官由孔子后裔充任。乾隆《曲阜县志》卷二十四记曰：“帝言轩辕黄帝降于延恩殿，谕群臣曰，赵之始祖再降乃轩辕黄帝，黄帝生于寿丘，寿丘在曲阜，乃故县名曰仙源，徙治寿丘。”

金朝天会七年（1129年）改回曲阜之名。此时的曲阜县城已经移至今日曲阜城东旧县村一带，孔庙和孔府位于城外。

明朝正德六年（1511年）山东爆发刘六、刘七民變，攻下曲阜县城，并在孔庙内饲马驻军，导致朝廷震惊，于是在正德七年下令“移城就庙”，环绕孔庙和孔府修建新县城，即曲阜现址。嘉靖元年（1522年）新城竣工，城墙全长八里三十六丈，高二丈、厚一丈，内为夯土，外包城砖。全城有五门，其中孔庙前的正南门为仰圣门，其东为崇信门。东门为秉礼门，北门为延恩门，西门为宗鲁门。

曲阜城池直至1977年才被拆除，现仅剩正南门、北门、以及部分城墙。2002年开始重新修缮城墙，2004年9月完工。

除了著名的曲阜三孔之外，曲阜城内外还遍布着祭祀孔子大弟子、“复圣”颜回的颜庙以及西夏侯遗址、周公庙、春秋书院、汉鲁王墓、少昊陵、石门寺、宋景灵宫故址等无数文物古迹。1982年被中国国务院定为国家历史文化名城。

1986年撤县设市，由地级济宁市代管。