Dal 1417 la milizia locale aveva già stabilito un posto di guardia sulla punta della penisola[1]. Nel 1488 gli aragonesi costruirono una torre di guardia, dedicandola a Erasmo di Formia, meglio conosciuto come Sant'Elmo. Nel 1533 i Cavalieri Ospitalieri rinforzarono la torre[2] e nel 1551, dopo che i Turchi erano riusciti ad entrare senza opposizione nel porto di Marsamuscetto, decisero di espanderla. Nel 1552 la torre fu demolita per avviare la costruzione di un forte a stella progettato da quattro architetti italiani e pochi mesi prima dell'assedio del 1565 venne aggiunto un rivellino.

Nel 1565, durante l'assedio da parte dell'Impero ottomano, il forte resistette per ben 28 giorni ai bombardamenti ordinati dall'ammiraglio e corsaro ottomano Dragut, che perse la vita durante gli scontri. Quando il forte cadde, il 23 giugno dello stesso anno, tutti gli assediati vennero massacrati e solo nove difensori maltesi riuscirono a salvarsi nuotando fino a Forte Sant'Angelo, dall'altra parte del porto. L'anno successivo all'assedio il Gran maestro Jean de la Valette decise di costruire una nuova città sulla penisola e le rovine del forte furono ricostruite e integrate con le mure della città, conferendogli la forma attuale.

Oggi il forte ospita l'accademia di Polizia dell'isola e il National War Museum, dove sono esposte testimonianze della Seconda guerra mondiale, tra cui l'unico biplano "sopravvissuto" alla guerra e la George Cross, conferita da Re Giorgio VI a Malta nel 1942 per il valore dimostrato, e inserita dal governo maltese nella propria bandiera.

La struttura è nota per essere stata utilizzata come ambientazione del carcere nel film del 1978 Fuga di mezzanotte, diretto da Alan Parker.