La construcción del palacio comenzó a finales del siglo XV, en estilo gótico. La obra fue acabada por el duque Ilínich a principios del siglo XVI cerca del pueblo de Mir (anteriormente de la gubérniya de Minsk). Alrededor de 1568 el castillo de Mir pasó a manos de Mikołaj Krzysztof Radziwiłł «el huérfano», quien acabó de construirlo en estilo renacentista. Se construyó un palacio de tres plantas junto a los muros este y norte del castillo. Las fachadas revocadas en yeso fueron decoradas con portales de caliza, placas, balcones y porches.

Después de ser abandonado durante casi un siglo y haber sufrido diversos daños durante el período napoleónico, el palacio fue restaurado a finales del siglo XIX. En 1813, tras la muerte de Dominik Hieronim Radziwiłł, pasó a manos de su hija Stefania, quien se casó con Ludwig zu Sayn-Wittgenstein-Berleburg. El palacio lo heredó después su hija María, quien se casó con el príncipe Chlodwig de Hohenlohe-Schillingsfürst.

Su hijo, Maurice Hohenlohe-Schillingsfürst, lo vendió a Nikolai Sviatopolk-Mirski, del clan Bialynia, en 1895. El hijo de Nikolaj Michail comenzó a reconstruir el palacio de acuerdo con los planes del arquitecto Teodor Bursze. La familia Sviatopolk-Mirski fue propietaria del palacio hasta 1939. Durante la Segunda Guerra Mundial, pasó a manos de la fuerza de ocupación nazi y sirvió como gueto para la población judía local antes de su eliminación.