La fortalesa es va construir per a defensar l'arsenal de Rochefort (Charente Marítim) (un dels més prestigiosos de l'imperi) cobrint un espai que fins llavors no estava defensat entre els canons que hi havia a les diferents illes.[1]

Quan s'acaba la construcció de l'arsenal, el 1666, es veu que és necessària la construcció d'un fort marítim que tanqui el sistema de defensa. A partir de llavors, es van succeir diferents intents de construir sobre el banc d'arena longe de Boyard però l'obra era més difícil del que es considerava i es va desestimar. El mateix marquès de Sébastien Le Prestre de Vauban, el millor constructor militar de la seva època, la va descartar dient a Lluís XIV de França:

El 1801, sota el mandat de Napoleó es van reprendre els treballs. Van tenir la idea de construir sobre pedra en lloc de sobre arena i es van portar blocs de pedra de les pedreres reials i es van dipositar sobre el longe de Boyard. Aquesta operació s'havia d'efectuar a l'estiu i amb mareja baixa per a evitar els corrents; tot i això el projecte es va suspendre el 1809 perquè les pedres s'enfonsaven pel seu propi pes.

Amb el regnat de Lluís Felip I de França i la tornada de les tensions entre França i el Regne Unit, el projecte es va tornar a agafar (1837). Per això es va posar a la pràctica un nou mètode en el que es van utilitzar blocs de cal en lloc de roques. Finalment, el 1848 es va acabar la construcció del sòcol que s'eleva dos metres per damunt del nivell de la marea alta. A partir de llavors, durant els següents deu anys es construí el fort:

Fins al 1852: el nivell inferior (polvorins, despenses i cuines). El 1854: fi de la construcció del primer nivell. El 1857: fi de la construcció del fort amb l'obra del segon nivell i la torre de guaita.

A partir d'aquest moment el fort pot acollir una guarnició de 150 homes aïllats del continent fins a dos mesos. Però, entre la concepció dels primers projectes i el final dels treballs, l'abast dels canons va augmentar, reduint així la utilitat del fort i per això mai fou utilitzat militarment per a l'objectiu amb què s'havia construït. Llavors es va convertir en un blanc pels saquejadors i un mal de cap per a les autoritats que no sabien per a què ho podien fer servir. Durant la Comuna de París va servir de presó.

Finalment, el 1913, l'exèrcit el va abandonar i es van vendre els canons. Durant la Segona Guerra Mundial fou utilitzat com blanc d'entrenament de la Marina alemanya.

El 1961, el fort fou subhastat i fou adquirit per Éric Aerts. Aquest no cuidarà el fort i el va vendre altra vegada el 1989 a un productor de concursos televisius que al cap de poc temps el va tornar a vendre al Consell General del departament, que es va comprometre a restaurar-lo i li va assegurar l'exclusivitat de l'explotació televisiva del lloc.

A partir del 1990, el Fort Boyard es va convertir en l'escenari d'un concurs en el que els participants havien de fer unes proves de força i habilitat a canvi d'un tresor. Als seus inicis va tenir un gran èxit a França i fou emesa a France 2. A Espanya el concurs fou emès per Telecinco[3]