בשנות ה-30 התגוררו בשכונה בעיקר אירים ממעמד הפועלים. בזמן מלחמת העולם השנייה הגיעו לשכונה הומוסקסואלים רבים ששוחררו מצבא ארצות הברית בשל נטייתם המינית[1]. השכונה הפכה למרכז הומוסקסואלי של ממש בעקבות אירועי ילדי הפרחים בשנת 1967.

בתחילת שנות השבעים עבר לסן פרנסיסקו הארווי מילק, ופתח יחד עם שותפו לחיים חנות צילום ברחוב קסטרו, הרחוב הראשי ברובע. באותן שנים היה הרובע בתהליך המעבר משכונת פועלים ללב חיי הקהילה הגאה בעיר ומשך הומוסקסואלים רבים מכל רחבי ארצות הברית. מילק החל לפעול לקדם אינטרסים של הומוסקסואלים בקליפורניה בכלל ובסן פרנסיסקו בפרט, וכונה "ראש העיר של הקסטרו".

ב-1979 התרחשו ברובע מהומות אלימות הידועות כמהומות ליל וייט. המהומות פרצו לאחר גזר דין מקל שנגזר על דן וייט, לשעבר חבר מועצת העירייה, אחרי שהורשע בהריגה כפולה של ראש העירייה ושל מילק, שהיה חבר מועצת העירייה. עם היוודע גזר דינו המקל של וייט, התקבצו בקסטרו אנשים רבים והחלו לצעוד לעבר בית העירייה, שם עקרו כמה מהם את דלתות הבניין, פרצו לתוכו והציתו אותו. שוטרים סילקו את המתפרעים, והמפגינים נסוגו לרחוב מארקט.