Район дістав свою назву від вулиці Кастро-стріт, яка, у свою чергу, була названа на честь Хосе Кастро[en] (1808–1860), алькальда (старости) Верхньої Каліфорнії у 1835–1836 роках, коли Сан-Франциско знаходився на мексиканській території.[1] Сам квартал з'явився у 1887 році.

У 1910-ті квартал був відомий як «Маленька Скандинавія» через велику присутність північноєвропейських іммігрантів[2]. У районі, зокрема, знаходилося представництво Союзу скандинавських моряків. Нагадуванням про цей період служать деякі будівлі, побудовані за типом фахверка, які досі можна бачити на Маркет-стріт в проміжку між вулицею Кастро і Черч-стріт. З 1930-х і аж до 1960-х в районі проживали в основному ірландці. У епоху хіппі (центром цього руху був сусідній район Гейт-Ашбері) Кастро почав швидко перетворюватися на центр гей-руху. У 1970-і в цьому районі відкрилося багато гей-барів, сформувався типовий образ жителя Кастро, відомий як «Castro clone». До цього ж періоду відноситься політична діяльність Гарві Мілка — першого відкритого гея, що зайняв виборний політичний пост в Каліфорнії.