Prima quartiere di immigrazione scandinava e poi irlandese, è nella seconda metà degli anni sessanta che inizia a diventare punto di riferimento per i tanti giovani omosessuali che da ogni parte degli Stati Uniti accorrono a San Francisco, attirati dalla ventata di libertà che il nuovo movimento di controcultura hippie sta portando alla città californiana.

Nel 1975, Harvey Milk, che di lì a breve diventerà uno dei più attivi e noti esponenti del nascente movimento gay, apre proprio a Castro, in Castro Street, il suo negozio di fotografia.

Il centro di Castro è rappresentato dall'intersezione tra Castro Street e la diciassettesima strada, in una piazza al centro della quale è issata una grande bandiera arcobaleno.

Nel cuore del quartiere di Castro, al centro di Castro Street, sorge il Castro Theatre, un esempio di architettura coloniale spagnola, costruito nel 1922 ed oggi monumento nazionale. Ospita rassegne di teatro e festival di cinema, in particolare legati alla cultura LGBT.