Первые укрепления на этой месте, вероятно, возникли ещё в X веке. Это была небольшая крепость на холме, построенная из дерева и земли. Согласно сохранившимся документам в XI веке ранний замок принадлежал семье де Фужер. В 1166 году после осады Генрихом II Плантагенетом он оказался разрушен. Но благодаря выгодному стратегическому положению крепость на этом месте была быстро восстановлен. По инициативе Рауля II[fr] уже около 1173 году возвели новый каменный замок. Основным строительным материалом были гранит и сланец. Крыши делали из черепицы.

Рауль III, будучи владельцем Фужера, признал себя вассалом короля Людовика IX. Пьер I де Дрё, известный также как Моклерк, в ходе внезапной атаки сумел захватить Фужер в 1231 году. Однако Людовик IX во главе сильной армии быстро подступил к стенам крепости и отвоевал её. Рауль III сопровождал Людовика IX во время Седьмого крестового похода и скончался в 1256 году.

Единственная дочь Рауля III, Жанна I де Фужер[fr], вышла замуж за Гуго XII де Лузиньян (внука Пьера I де Дрё) в январе 1253 года в Савиньи[fr]. Её супруг стал кастеляном крепости. По его инициативе построители две большие башни (названных Мелюзина и Гоблин), а также новые укреплённых ворот и возвели внешние валы.

Король Франции Филипп IV Красивый в 1307 году конфисковал баронство Фужер[fr] и присоединил к своим владениям. Управляющим замком стал герцог Жан IV Бретонский. Однако вскоре крепость смог захватить легендарный полководец Бертран Дюгеклен. В 1373 году новым хозяином Фужера стал Пьер II Алансонский.

В 1428 году герцог Жан II Алансонский продал замок Фужер герцогу Бретани. Это была вынужденная сделка (требовались деньги на выкуп). В марте 1449 года, во время перемирия между Францией и Англией, Франсуа де Сурьен[fr], испанский наёмник на английской службе, во главе отряда из 600 воинов предпринял внезапный ночной штурм крепости. Фужер был взят, жители перебиты, а сам город разграблен. В 1450 году новым наместником стал Сурьенн. Однако после двухмесячной осады Фужера (1488)[fr], которой руководил герцог Бретани Франциск I, а также из-за свирепствовавшей в городе эпидемии чумы, гарнизон, состоявший из рыцарей Сюрьенна, капитулировал.

В конце XV века укрепления замка были усилены. Появились новые оборонительные башни. Например, Франсуаза и Турас.

В 1488 году виконт Луи II де Ла Тремуй, командуя королевской армией, всего за неделю смог заставить гарнизон замка выбросить белый флаг. При этом в крепости имелся внушительный гарнизон из 3000 солдат. По распоряжению монарха в цитадели остался королевский гарнизон. В 1491 году Фужер был официально присоединён к королевскому домену.

В 1547 году хозяйкой Фужера стала Диана де Пуатье, фаворитка короля Генрих II Валуа. Однако вскоре замок вернулся под контроль короны. Управлять им стали наместники монарха.

В 1588 году герцог Филипп Эммануэль де Меркёр, губернатор Бретани, примкнул к католической лиге и поднял восстание против короля Генриха III. 28 марта 1588 года герцог смог захватить замок и решил сделать крепость своей резиденцией. Он мечтал превратить Бретань в независимое государство. Однако в конце концов Меркёр был вынужден отказаться от этих намерений.

22 августа 1773 года король Людовик XV назначил аббата Жиля Дерика[fr] своим наместников в Фужере. Это был последний губернатор крепости. В 1793 году замок захватили роялисты. Многие здания, сохранявшиеся с XIV века, оказались в итоге разрушены.

С 1820 года замок принадлежал семье Поммёрёль. В октябре 1828 года в Фужере провёл несколько недель Оноре де Бальзак в компании с Жильбером де Поммерулем[fr]. Знаменитый писатель посетил замок и объездил весь регион, чтобы найти вдохновение для своего романа «Шуаны, или Бретань в 1799 году», опубликованного в 1829 году.

В 1879 году сюда прибыл Виктор Гюго. Его необыкновенно вдохновила башня Мелюзина. В своём романе Девяносто третий год писатель подробно описывает её.

В 1892 году замок был продан местному муниципалитету за 80 000 золотых франков.