Au début du Ier siècle av. J.-C., l'emplacement est occupé par une porte dans les murs romains de laquelle part le decumanus maximus d'Augusta Taurinorum (qui donnera Turin). Deux des tours, bien que reconstituées, témoignent de cet édifice initial. Après la chute de l'Empire romain occidental, la porte est utilisée comme bastion propice à la défense de la ville.

L'emplacement devient par la suite une possession des Savoie-Acaja, une branche secondaire de la maison de Savoie, qui l'agrandit en château au XIVe siècle.

Un siècle plus tard, Ludovico de Savoie-Acaja l'étend en plan carré avec une cour intérieure, un portique et une tour ronde à chacun des quatre angles.

Après la disparition de la lignée Acaja en 1418, le château devient la résidence des invités des Savoie.

En 1637, la régente du duc Charles-Emmanuel II, Christine de France, le choisit comme sa résidence personnelle. Elle commande la couverture de la cour et une amélioration des appartements intérieurs.

Soixante ans après, une autre régente, Marie-Jeanne-Baptiste de Savoie, vit dans le palais, conférant ainsi définitivement le surnom de Madame (en italien Madama).

Elle commande un palais baroque en pierre blanche à l'architecte Filippo Juvarra, mais les travaux se limiteront à la façade, construite entre 1718 et 1721, plaquée sur l'édifice médiéval.

La façade abrite un escalier monumental qui caractérise la monumentalité et la magnificence des intérieurs des palais baroques.

Le palais remplit par la suite d'autres fonctions : quartier général du ravitaillement des troupes napoléoniennes ; au XIXe siècle le roi Charles-Albert de Sardaigne y place le siège de la pinacothèque royale, et plus tard, le sénat du parlement de Sardaigne et la haute cour. Depuis 1934, il accueille le musée des antiquités de la ville le Museo Civico d'Arte Antica (contenant des pièces du Pakistan).