Budowę zamku rozpoczął na przełomie XV i XVI wieku, w stylu gotyckim starosta brzeski i kowieński Jerzy Illinicz. Około 1568 mirski zamek na mocy testamentu wnuka Jerzego Illinicza przeszedł w ręce książąt Radziwiłłów, którzy przebudowali go w stylu renesansowym. Wzdłuż wschodnich i północnych ścian zamku powstał pałac. Gipsowe fasady zostały udekorowane wapiennymi portalami, płytami, balkonami i gankami.

12 grudnia 1655 roku zamek zajęli żołnierze słuckiego garnizonu Bogusława Radziwiłła popierającego ówcześnie Szwedów. W 1656 zamek zniszczyli Moskale. Podczas wojny polsko-rosyjskiej, po bitwie pod Połonką w 1660 roku, zamek zdobył Samuel Kmicic. Zamek został zniszczony przez Szwedów w 1706. Odbudowany stał się rezydencją m.in. wojewody wileńskiego Karola Stanisława Radziwiłła, który znany był z wystawnych uczt.

Podczas wojny w obronie Konstytucji 3 Maja po wschodniej stronie zamku doszło do bitwy oddziałów polskich z rosyjskimi znanej jako Bitwa pod Mirem.

W epoce napoleońskiej zamek został opuszczony i częściowo zniszczony. W końcu XIX wieku budowla została ponownie odnowiona i zamieszkana. W 1813 po śmierci Dominika Radziwiłła zamek został przekazany jego córce Stefanii i jej mężowi Ludwigowi zu Sayn-Wittgenstein-Berleburg, a następnie w ręce ich córki Marii, która poślubiła księcia Chlodwiga Hohenlohe-Schillingfurst. Ich syn Maurice Hohenlohe-Schillingfurst sprzedał zamek w 1895 Mikołajowi Światopełk-Mirskiemu, herbu Białynia. W dniu 19 marca 1919 roku bolszewicy zamordowali w ruinach zamku polskich działaczy. Zginęli: Aleksander Haciski, ksiądz Wincenty Łotarewicz z Iszkołdzi (zwłoki wrzucono do studni zamkowej), Wołodźka i Kurnatowski.

Po odzyskaniu przez Polskę niepodległości i podpisaniu traktatu ryskiego syn Mikołaja Michał Światopełk-Mirski rozpoczął przebudowę zgodnie z planami Teodora Bursche z l. 1923-1924. Rodzina Światopełk-Mirskich miała w posiadaniu zespół obiektów do 1939.

Po zajęciu Mira przez Niemców w 1941 roku doszło do wymordowania części ludności żydowskiej na terenie parku zamkowego, a w maju 1942 roku Niemcy utworzyli na terenie zamku getto otoczone drutem kolczastym i strzeżone przez strażników z karabinami maszynowymi. W nocy 9 sierpnia 1942 część młodych Żydów uciekła z zamku do lasu, natomiast pozostali przy życiu zostali zamordowani przez Niemców na terenie zamku w dniu 13 sierpnia 1942 roku[1].

W 2000 roku zamek został wpisany na Listę światowego dziedzictwa UNESCO, w związku z czym zaczęto jego rewaloryzację i odbudowę. Przy tej okazji z trzech stron zamku zrekonstruowano ziemne fortyfikacje bastionowe.

W pierwszym późnogotyckim etapie na początku XVI wieku istniały tylko ceglano-kamienne mury obwodowe w formie czworoboku (4 × 75 m), 4 kwadratowe (w górnych kondygnacjach 8-boczne) baszty narożne i nieistniejący dziś budynek jednopiętrowy w południowo-zachodnim narożniku dziedzińca. W drugim etapie w połowie XVI wieku powstał parterowy, podpiwniczony budynek wzdłuż murów północnych i wschodnich. Ten budynek, w trzecim etapie rozbudowy, na początku XVII wieku został podwyższony do trzech kondygnacji i uzyskał pałacowy wystrój. Przy okazji zamurowano strzelnice, przebito okna i przekształcono średniowieczne korony murów. W pierwszej połowie XVII wieku zamek otoczono bastionowymi fortyfikacjami ziemnymi (z wieżą bramną pośrodku zachodniej kurtyny), chronionymi fosami nawadnianymi przez rzeczkę Mirankę.

Obszar otaczający zamek został zaadaptowany na park.