The Castro émerge comme un pôle de la communauté gay à la suite du Summer of Love, dans le quartier voisin de Haight-Ashbury, en 1967. Mais la concentration de gays dans Eureka Valley commence dès la fin des années 1950, alors les familles américaines désertent les centres-villes pour se relocaliser dans les banlieues, et le quartier subit le même sort. À la fin des années 1970, les loyers y sont bon marché et nombre de citadins éconduits par l'embourgeoisement (gentrification, en anglais) des quartiers voisins commencent à s'y établir.

Le rassemblement concentre alors des dizaines de milliers de jeunes issus généralement des classes moyennes américaines, mais pour la plupart blancs, et essentiellement des hommes.

En 1975, Harvey Milk ouvre un magasin de photo, et devient un militant de la communauté gay particulièrement actif, s'autoproclamant le « maire de Castro » et contribuant à établir le quartier comme une destination homosexuelle. Ignorés par l'association locale de commerçants, Harvey Milk et d'autres propriétaires homosexuels de petites entreprises fondent leur propre association, baptisée Castro Village, officialisant en quelque sorte le nom du quartier gay. De nombreux bars et clubs animent alors la vie nocturne de l'endroit, notamment le Corner Grocery Bar, le Norse Cove, le Pendulum et l'Elephant Walk.

Le quartier fut sévèrement touché par la crise du sida des années 1980. À partir de cette décennie, les pouvoirs locaux décident de forcer la fermeture de nombreux bains publics et lancent des campagnes de sensibilisation pour freiner le progrès du VIH. De nombreuses affiches dans Castro mettent désormais en avant la prévention et la protection lors de rapports sexuels.

À partir de la fin du XXe siècle, Castro Street est parsemée de bars, restaurants et boutiques mettant l'accent sur l'héritage gay du quartier, et misant sur l'attrait touristique. L'Elephant Walk est désormais un bar branché rebaptisé Harvey's, et l'ancienne boutique de Harvey Milk est un magasin qui fait la promotion de l'association Human Rights défendant l'égalité pour tous et notamment la cause de la communauté LGBT. Le Castro est resté majoritairement blanc et masculin, offrant peu d'activités aux plus jeunes homosexuels, mais reste un symbole de la lutte pour la reconnaissance de leur identité et de leurs droits pour la communauté LGBT.

Jusqu'en 2006, le quartier était le théâtre d'un rassemblement informel et bigarré pouvant atteindre plusieurs centaines de milliers de personnes à chaque soirée d'Halloween. L'événement a cependant été interdit en 2007, à cause de violences qui ont perturbé les rassemblements des deux années précédentes.