Район получил своё название от улицы Кастро-Стрит, которая, в свою очередь, была названа в честь Хосе Кастро, алькальда Верхней Калифорнии в 1835—1836 годах, когда Сан-Франциско находился на мексиканской территории.[1] Сам квартал появился в 1887 году.

В 1910-е квартал был известен как «Маленькая Скандинавия» из-за большого присутствия северноевропейских иммигрантов. В районе, в частности, находилось представительство Союза скандинавских моряков. Напоминанием об этом периоде служат некоторые здания, построенные по типу фахверка, которые до сих пор можно видеть на Маркет-Стрит в промежутке между улицей Кастро и Чёрч-Стрит.

С 1930-х и вплоть до 1960-х в районе жили в основном ирландцы. В эпоху хиппи (центром этого движения был соседний район Хейт-Ашбери) Кастро начал быстро превращаться в центр гей-движения. В 1970-е в этом районе открылось множество гей-баров, сформировался типичный образ жителя Кастро, известный как «Castro clone». К этому же периоду относится политическая деятельность Харви Милка — первого открытого гея, занявшего выборный политический пост в Калифорнии.