Перше поселення на місці Гірокастри належить до I століття до н. е. Утворення міста належить до XII століття. Воно входило до візантійської провінції Епір і мало назву Аргірополіс («Срібне Місто») або Аргірокастрон («Срібний Замок»). У XIV столітті місто входило до грецького князівства Епір (Епірський Деспотат). У 1417 році місто було включено до складу Османської імперії. Наприкінці XIX століття місто стало одним із центрів боротьби за незалежність Албанії. За даними 1913 року [ISBN 960-7022-08-04] у місті мешкало 10 тис. албанців і 2 тис. греків. Під час Першої світової війни місто захоплювали італійські, грецькі, німецькі війська. Після завершення Першої світової війни місто було під контролем грецької армії, поки не було передано Албанському королівству. У часи комуністичного режиму місто як батьківщина Енвера Ходжі було оголошено музеєм.