[[Файл:Jews of Fez.jpg|thumb|left|Представники стародавньої єврейської громади Феса, світлина зроблена близько 1900 р.]

Місто було засноване на березі річки Фес 789 року Ідрісом І, засновником династії Ідрісидів.

Арабська еміграція до Феса, включаючи 800 Андалусійських родин, вигнаних після повстання, що відбулося в Кордові в 817—818, та інших 2000 вигнаних з Кайруану (сучасний Туніс) після іншого повстання, яке відбулося в 824, надала місту яскравого арабського характеру.

«Адват Ель-Андалус» та «Адват Ель-Каравіїн», два головних райони Феса, отримали свої назви відповідно до назв двох хвиль арабської еміграції до нового міста. Під час правління Ях'я Ібн-Мухаммеда було побудовано одну з найстаріших та найбільших мечетей в Африці — Карауїн. Разом із мечеттю було засновано університет Ель-Карауїн.

Після приходу до влади Алі Ібн-Умара (Алі ІІ), берберські племена з Мад'юни, Гаяти та Мекнеса, що представляли Хариджитів, створили спільний фронт проти Ідрісидів та, завдавши поразки війську Алі, окупували Фес. Місто було звільнене від загарбників Ях'єю Ібн Ель-Касимом, який проголосив себе наступником Алі.

Місто заселялося мусульманами з усієї північної Африки, Близького Сходу, морисками (особливо після завоювання Іспанією Гранади в 1492), а також великою кількістю євреїв, які мешкали у своєму власному кварталі під назвою Мелла. Обидві половини Феса було об'єднано в 1069 після знищення роздільної стіни. Фес втратив свій столичний статус (спочатку столицю було перенесено в Марракеш, а потім до Тлемсена) під час правління Альморавідів, але перетворився на науковий та релігійний центр, де навчалися як мусульмани, так і християни з Європи. В 1250 року Фес знову набув статусу столиці під час династії Маринідів

1549 року Фес захопив Мухаммад аш-Шейх, засновник династії Саадитів.

Після падіння Саадійської династії в 1649 році, Фес став головним торговельним пунктом Барбарійського узбережжя північної Африки. Аж до 19-го століття він був єдиним постачальником фесок, до того часу, коли вони почали вироблятися в Османській імперії та Франції. Фарба для фесок видобувалася з ягід, що росли навколо міста, відомих як османський «kızılcık» або грецька «akenia» (Cornus mascula). Фес також був кінцевим пунктом золотого торговельного шляху «Північ-Південь» з Тімбукту та головним виробником шкіряних виробів, таких, як адарга

Місто набуло незалежності в 1790 році під керівництвом Язида (1790—1292) і, пізніше, Абу-Рабі Сулеймана, але було знову включено до складу Марокко в 1795 році. У 1819—1821 роках Фес брав участь у повстанні під проводом Ібрагіма Ібн-Язида та у повстанні 1832 року під проводом Мухаммеда Ібн-Таїба.

Фес знову став столицею Марокко до 1912 року, коли більша частина Марокко перейшла під владу Франції і Рабат було обрано столицею нової колонії. Столичний статус залишився за Рабатом навіть після набуття Марокко незалежності в 1956 році. З того часу багато корінних мешканців Феса емігрували, єврейський квартал спорожнів (в 1465 мешканці кварталу пережили різню, влаштовану арабськими заколотниками), економіка занепала.

Незважаючи на традиційний характер більшої частини міста, існує також сучасний квартал Ville Nouvelle або «Нове місто» який являє собою метушливий комерційний центр.