Der lokalen Überlieferung zufolge reicht die Geschichte der Festung bis in mythische Zeiten (Trigarta-Königreich) zurück; nachweisbar ist jedoch nur eine Zugehörigkeit zum Herrschaftsbereich der Katoch-Dynastie. Die ältesten Bauten im heutigen Fortbereich sind Tempelruinen aus dem 9./10. Jahrhundert. Die erste schriftliche Erwähnung des Kangra-Staates stammt aus dem 11. Jahrhundert.

Um das Jahr 1600 hielt das Fort einer Belagerung durch ein Heer des Großmoguls Akbar I. stand, doch wurde es im Jahr 1620 von dessen Sohn Jahangir erobert und anschließend ausgebaut. Nach dem Ende des Mogulreichs erlangte Raja Sansar Chand, ein angeblicher Nachkömmling der Katoch-Familie, eine gewisse Machtposition im Kangra-Tal und übernahm im Jahr 1783 endgültig die Macht über das Kangra-Fort. Etwa 20 Jahre später gehörte das Tal jedoch zum Machtbereich der Sikhs, die es aber nach dem Ersten Sikh-Krieg im Jahr 1846 an die Briten abtreten mussten.

Im Jahr 1905 legte ein verheerendes Erdbeben weite Teile der Anlage in Trümmer; danach wurden zahlreiche Bauteile restauriert.