通りの名称はホセ・カストロ（英語版）（メキシコ統治時代のアルタ・カリフォルニアの州知事代理で軍人）の名前を起源としている[1]。

現在の街区は Market Street Railway Company がユリーカ・バレーとダウンタウンを結ぶ路面電車の線路を敷設した1887年に作られたとされ、1891年には地区の西エリアに Caselli Mansion が建築された[2]。

1910年代から20年代にかけて、カストロ地区には北欧系の住民が多く住み始めたことで「リトル・スカンジナビア」の愛称で知られるようになり、当時カストロ地区の先は "Norse Cove" （意味：ノルウェーのくぼみ）と呼ばれていた。この時代に営業を始めたフィンランドサウナが1986年まで営業を行っており、また現在 Swedish American Hall が建っているマーケット・ストリートと15丁目が交差する辺りにはスカンジナビア系船員の組合がかつて存在していた。この時代の名残りとして、カストロ通りとチャーチ・ストリートに挟まれたマーケット・ストリート沿いにはスカンジナビア式の半木骨造建物が今でも見られる。

1930年代にはアイルランド系の労働者階級の住民が住み始め、60年代中盤にかけて多く居住していた。

1941年にマーケット・ストリートから29丁目にかけてのカストロ通りを運行していたケーブルカーの線路が取り払われ、バス運行に切り替わった。

第二次世界大戦中のアメリカ陸軍は性的指向を理由に不名誉除隊させた男性同性愛者の軍人をサンフランシスコで放免し、その数は数千人を数えたとされる。その多くは不名誉除隊の知らせが家族に届いていたため帰る家を無くした。そんなことから多くの男性同性愛者がカストロ地区に定住し、同地区に同性愛者が集まり始めた。

1967年に近隣のハイト・アッシュベリー地区（英語版）での「サマー・オブ・ラブ」現象の盛り上がりを受けて、カストロ地区は同性愛者達の中心的な存在へと成長し、全米から数万人規模で中産階級の若者が集まり始めた。それまで「ユリーカ・バレー」として知られた地区の名前も、通りの名を冠したカストロ劇場（英語版）がオープンした後には「カストロ」として知られるようになる。1970年代には、この地区の中産階級の住民が郊外へ流出し始めたことで住宅相場が下がり、それまでサンフランシスコ市内で同性愛者達が集まる地区として最も栄えていたポルク・ガルチ（英語版）地区からの住民が流入するようになった。

1973年にはハーヴェイ・ミルクがカストロカメラをオープン、また同性愛者の社会活動家として政治的な運動に関わり始めたことで、カストロ地区は同性愛者の集う場所というイメージを広めることとなった。

1970年代終わりには、当時の服装や習慣を指す「カストロ・クローン（英語版）」という言葉が誕生した。これは当時の同性愛者に人気の高かったスタイル（細いデニムジーンズに、黒やデザートサンド色のコンバット・ブーツ、きつめのTシャツ、口ひげや顎ひげ）のことを指し、 "Clone Canyon" とも呼ばれていた。この頃にはバーなどナイトライフの有名店がカストロ通りの18丁目からマーケット・ストリートにかけて存在していた。

1980年代のAIDS/HIV禍はカストロ地区にも大きな影響を及ぼし、1984年初頭にはAIDSの拡散防止を目的にバスハウス（英語版）の取り締まりの厳格化を市当局が発表している。今日でもマーケット・ストリートやカストロ通りのキオスクには広告に混ざってセーファーセックスを呼びかけるポスターが見られる。