Gjirokastra es una antigua ciudad cuyo solar tiene trazas de haber sido poblado desde al menos el siglo I a. C. La ciudad como tal fue fundada probablemente hacia el siglo XII alrededor de una fortaleza ubicada en el Mali i Gjëre. Bajo dominio bizantino se convirtió en un importante centro comercial conocido como Argyropolis ("Ciudad de plata", griego: Αργυρόπολις) o Argyrokastron ("Castillo de plata", griego: Αργυρόκαστρον). Con posterioridad formó parte del Despotado de Epiro, estado sucesor del Imperio bizantino después de la disolución de este en la Cuarta Cruzada.

La primera mención escrita de la ciudad data de 1336. En 1417 pasó a manos del Imperio otomano, que la retuvo en su poder durante casi cinco siglos. En el siglo XIX Ali Pasha, un gobernador albanés dotado de gran autonomía reforzó el burgo y mandó construir un acueducto de 10 km de longitud para abastecer de agua la fortaleza. Este acueducto fue destruido en 1932. A finales del siglo XIX Gjirokastra fue un importante centro de resistencia a la dominación turca. La Asamblea de Gjirokastra de 1880 se considera como uno de los hitos de la independencia albanesa.

Habitada por una población mayoritaria de etnia albanesa, pero con una fuerte presencia de minorías griega y arrumana, Gjirokastra ha sido una ciudad muy disputada a lo largo de la primera mitad del siglo XX. Durante la Primera Guerra de los Balcanes (1912-13), la ciudad fue reclamada por parte de Grecia, debido a la presencia de una importante minoría griega en la zona. En 1914 Giorgos Christakis Zografos, antiguo Ministro de Exteriores griego, declaró Gjirokastra como la capital de un estado autónomo denominado Epiro del Norte. No obstante, la vida de este estado fue efímera y desapareció durante la Primera Guerra Mundial. Gjirokastra fue ocupada por tropas francesas durante esa guerra para posteriormente ser devuelta al estado albanés. Durante la Segunda Guerra Mundial la ciudad pasó por manos italianas, griegas y alemanas, para caer finalmente bajo control albanés definitivo desde 1944.

El régimen comunista de la posguerra desarrolló la ciudad como un centro industrial y comercial. Fue elevada a la condición de "ciudad-museo" debido a su estado de conservación y también por ser la localidad natal del líder comunista Enver Hoxha que había nacido aquí en 1908. La casa natal de Hoxha fue convertida en museo y en uno de los principales centros del culto a la personalidad del dictador.

Gjirokastra sufrió numerosos problemas económicos tras finalizar el dominio comunista en 1991. Fue especialmente afectada por la estafa piramidal que estalló en 1997 que desestabilizó política y económicamente Albania. La ciudad se convirtió en un foco de la rebelión contra el gobierno de Sali Berisha y violentas protestas antigubernamentales tuvieron lugar en la misma forzando finalmente la dimisión del presidente. Durante el caos que se produjo aquel año, el 16 de diciembre de 1997 la casa de Hoxha fue volada por los aires por un grupo desconocido (presumiblemente anticomunista) de atacantes.

Desde finales de los años 1990 se ha producido una revitalización de la economía albanesa, mejorando en algo la situación de la ciudad. La población de Gjirokastra ha descendido en las últimas décadas, debido principalmente por la emigración de la minoría griega hacia la vecina Grecia. Sin embargo esta minoría tiene todavía una presencia significativa y una gran influencia cultural en la actual Gjirokastra. El estatus de la minoría griega en la región ha sido causa de ciertas tensiones entre los gobiernos de Albania y Grecia.