Budowa fortu rozpoczęła się w 1565 roku z inicjatywy Akbara (1556–1605), który przeniósł stolicę państwa Mogołów do Agry[1]. Nowy fort wzniesiono w miejscu dawnego fortu Radźputów[2][3]. Kompleks na planie nieregularnego półkola zaprojektował Quasim Khan Mir Barr o Bahr[4]. Do budowy zaangażowano tysiące robotników a prace ukończono w 1573 roku[4]. Nadworny historyk Akbara Abdul Fazal zanotował, że w granicach fortu stanęło 500 budowli kamiennych[a][4].

Prace budowlane były kontynuowane przez następców Akbara, zwłaszcza Szahdżahana w pierwszej połowie XVII w. Po przejęciu władzy przez jego syna i następcę Aurangzeba w 1658 roku Szahdżahan został uwięziony w Czerwonym Forcie, gdzie w 1666 zmarł[5].

W 1983 roku fort został wpisany na Listę Światowego Dziedzictwa UNESCO[5].