伝説では、三皇五帝の内の炎帝（神農氏）、黄帝とその子少昊が曲阜の地を都に定めたという。殷の時代は奄国に属していた。周の武王が周王朝を開いたとき、その弟で建国の功臣だった周公旦がこの地に分封され、魯公を称した。ただし魯の国は息子の伯禽に任せ、周公本人は魯にとどまらず朝廷にいて武王亡き後の不安定な政治を補佐したという。この時以来、この地は873年の長きにわたり魯国の都城であり、周の諸侯の国都の中でもっとも長く都であり続けた町だという。当時の曲阜は城壁の長さが約12kmで、四面に各3つずつ城門があった。城の西南は宮殿や祠・廟など王の建築群がある内城であり、城の西は陶を作る地区、城の北は冶金工業の地区、城の東は軍営、残りは市民の住居や市場などになっていた。城は周礼の規範を遵守して「左壇右社」「面朝後市」の通り整えられ、「礼儀の邦」の顕著な模範となっていた。

春秋時代の魯に、後年「文聖」「大成至聖先師」と称えられる思想家・教育家である孔子が現れた。彼の思想は後に「儒教」と呼ばれ、中国や東アジアに数千年に渡り重大な影響を及ぼすこととなる。孔子の死後わずか1年で、魯公は孔子に対する祭奠を行った。前漢に入ると高祖・劉邦はさらに大々的に孔子を祭る儀式を執り行わせた。孔子の子孫たちは曲阜に代々居住し、歴代朝廷から封賞を受け「衍聖公」という称号を世襲し、次第に中国でも第一の名家となった。その一族は21世紀の今日に至るまで続いているほか（第77代孔徳成は台湾に在住していたが、2008年10月28日中華民国台湾・新店市の病院にて心肺機能不全のため88歳で死亡）、曲阜周辺には10万人を超える孔姓の人々が住んでいる。曲阜にある孔家の廟（孔子廟）や府（直系の子孫が住む宮殿）は孔廟・孔府と呼ばれ、歴代皇帝の保護のもと絶えず拡大し、今日見るような壮大な建築群となった。また曲阜の町の北方の、約10万の墓があるという林「孔林」は孔家の墓地で、一家族の墓地としては世界最大規模のものである。曲阜の孔府・孔廟・孔林（「三孔」）は世界遺産にも登録されている。ただし長年補修や管理が十分でなかった時期があり、文化大革命で一部損壊したものの修理も十分とはいえず、完全な状態ではない。そのほか、城の内外に孔子の弟子・顔回を祀る顔廟や西夏侯遺跡、周公廟、春秋書院、漢魯王墓、少昊陵、石門寺、宋景霊宮故址など無数の遺跡や文物が散在する。

戦国時代末期、魯国は楚国によって滅ぼされ、楚はこの地に魯県を置いた。前漢は、皇族をこの地に封じて魯王とし、ここを魯国とした。三国時代にはまた魯県が置かれ、魯郡を統治する中心地となった。隋になって「城の東に阜（おか）有り、委曲して長さは七八里」という由来から名を曲阜県と変え[要出典]、兗州（えんしゅう）に属している。明清や近代まで、絶えず孔家の本拠として栄えてきたが新中国建国で孔家の直系子孫は台湾に逃れた。1982年に国家歴史文化名城に指定され、1986年には曲阜県は廃止され曲阜市となり、地級市・済寧市の管轄下におかれた。