La prima menzione del castello risale all'XI secolo. Nel 1070 si trovava in possesso dei conti catalani di Besalù, dai quali passò in seguito (1111) sotto i conti di Barcellona. Fu quindi feudo assegnato al visconte di Narbona.

Nella prima metà del XIII secolo, all'epoca della crociata albigese doveva essere un villaggio fortificato, in corrispondenza della parte intermedia: probabilmente si trattava di case in pietra circondate da un muro e raccolte attorno ad un torrione, come i contemporanei castelli di Montségur e di Cabaret-Lastours. Il signore del castello, Guillaume di Peyrepertuse, dopo essersi arreso senza combattere a Simone di Montfort nel 1217, ai tempi della crociata albigese, fu scomunicato nel 1224 per non aver rispettato i propri impegni. Si arrese nuovamente dopo la resa di Carcassonne e nel 1240 e il castello passò alla Francia, che lo acquistò da Nuño Sánchez, conte di Cerdanya di Rossiglione, reggente insieme al padre Sancho I di Provenza per il re di Aragona Giacomo I.

Nel 1242 Luigi IX vi fece scavare nella roccia la scala di accesso alla parte alta, che porta tuttora il suo nome, e nel 1250-1251 fu costruito il nuovo maschio di San Giorgio, con l'omonima cappella, e restaurato il maschio della "Rocca bassa" e la cappella di Santa Maria, probabilmente preesistenti. Con il trattato di Corbeil del 1258 diviene una delle fortezze reali francesi poste a difesa dei confini con il regno di Aragona.

Nel 1285 offrì rifugio ai notabili della città di Perpignano durante la guerra condotta dal re Filippo III l'Ardito contro il re Pietro III d'Aragona.

Nel 1355 fu restaurato e nel 1367-1368 vi si rifugiò, sotto la protezione del re di Francia Carlo V, Enrico di Transtamare, pretendente al trono di Castiglia, dopo la sconfitta subita nella battaglia di Navaretle.

Nel 1542 Jean de Graves, signore di Sérignan, protestante, si impadronì del castello, ma fu presto sconfitto e condannato a morte.

Dopo il trattato dei Pirenei del 1658, che stabiliva definitivamente il confine tra Spagna e Francia allo spartiacque dei Pirenei, perse di importanza strategica e fu custodito da una guarnigione ridotta, comandata da un ufficiale subalterno. Fu infine abbandonato durante la Rivoluzione francese e venduto nel 1820.

A partire dal 1950 è stato interessato da interventi di restauro e consolidamento. I resti accolgono oggi circa 100.000 visitatori all'anno.