Στις αρχές του 1ου αι. π.Χ. η τοποθεσία του ανακτόρου ήταν μία πύλη του ρωμαϊκού τείχους, από όπου περνούσε η οδός Decumanus maximus (κύρια οδός με διεύθυνση ανατολή-δύση) της πόλης Augusta Taurinorum, αρχαίας ονομασίας του Τορίνο. Δύο από τους πύργους της, αν και αποκατεστημένοι, κόμη πιστοποιούν τον αρικό αυτόν πυρήνα. Έπειτα από την πτώση του δυτικού τμήματος της Ρωμαϊκής αυτοκρατορίας, η πύλη χρησιμοποιήθηκε για οχυρό προπύργιο, μέρος της άμυνας της πόλης.

Αργότερα το κτήριο πέρασε στην ιδιοκτησία του κλάδου Σαβοΐας-Αχαΐας· μέλη του στις αρχές του 14ου αι. το επέκτειναν σε κάστρο. Έναν αιώνα αργότερα ο Λουδοβίκος της Αχαΐας το ξαναέκτισε σε τετράγωνο σχήμα, με μία εσωτερική αυλή, μία στοά και τέσσερις κυλινδρικούς πύργους, έναν σε κάθε γωνία. Η μορφή του οικοδομήματος αυτού φαίνεται στην πίσω όψη του κτηρίου. Όταν ο κλάδος εξαλείφθηκε, το κτήριο έγινε κατοικία για τους φιλοξενούμενους της Σαβοΐας.

Το 1637 η μητέρα του Καρόλου-Εμμανουήλ Β΄ δούκα της Σαβοΐας, η αντιβασίλισσα Χριστίνα-Μαρία των Βουρβόνων, το επέλεξε ως προσωπική της κατοικία. Παρήγγειλε τη στέγαση της εσωτερικής αυλής και την ανανέωση των διαμερισμάτων. Έπειτα από 60 έτη μία άλλη αντιβασίλισσα, η Μαρία-Άννα της Σαβοΐας, σύζυγος του Καρόλου-Εμμανουήλ Β΄, γνωστή ως madama reale, έζησε στο ανάκτορο. Έδωσε το όνομά της στο ανάκτορο. Προσκάλεσε πολλούς καλλιτέχνες για να ανανεώσουν το κτήριο, που η δούκισσα ήθελε να μετατρέψει σε ένα πολυτελές βασιλικό ανάκτορο. Ο καλλιτέχνης Ντομένικο Γκουιντομπόνο έγινε ο αναμφισβήτητος πρωταγωνιστής των διακοσμήσεων των αιθουσών του πρώτου ορόφου, γνωστών ως αίθουσες του Γκουιντομπόνο: ο κοιτώνας της Μαντάμα Ρεάλε, το κινέζικο δωμάτιο και η νότια βεράντα. Η δούκισσα επίσης ζήτησε από τον αρχιτέκτονα Φιλίππο Ιουβάρα να σχεδιάσει Μπαρόκ προσόψεις από λευκό λίθο, αλλά μετά από την ολοκλήρωση της δυτικής (κύριας) πρόσοψης μόνο, οι εργασίες έπαυσαν το 1721.

Έπειτα το ανάκτορο είχε διάφορες χρήσεις: στέγασε το αρχηγείο της επαρχιακής Γαλλικής κυβέρνηση κατά τη διάρκεια των Ναπολεοντείων πολέμων. Τον 19ο αι. ο Κάρολος Αλβέρτος της Σαρδηνίας από τον κλάδο Σαβοΐας-Καρινιάνο το επέλεξε ως θέση της Βασιλικής Πινακοθήκης, της συλλογής του από έργα τέχνης· αργότερα στέγασε την Υπό των Άλπεων Σύγκλητο, που ήταν το Κοινοβούλιο του βασιλείου του και την Υψηλή Αυλή. Από το 1934 στεγάζει το Μουσείο της Πόλης για την Αρχαία Τέχνη του Τορίνο.

 

H σκάλα του Palazzo Madama

Μπροστά του, δυτικά, εκτείνεται η πιάτσα Καστέλλο. Η πρόσοψη του Γιουβάρρα είναι σκηνογραφική, με μία εσοχή στο κέντρο, ώστε τα αψιδωτά παράθυρα να είναι σε βάθος. Το ισόγειο έχει στο προεξέχον κεντρικό μέρος του τρεις αψιδωτές εισόδους και από τρία παράθυρα σε κάθε πλευρά. Ο όροφος των ευγενών (piano nobile) έχει εννέα τεράστια αψιδωτά παράθυρα, που από επάνω τους υπάρχουν τα ορθογώνια παράθυρα του ορόφου των υπηρετών (mezzanine). Οι δύο αυτοί όροφοι έχουν στο προεξέχον κέντρο τέσσερις υπερμεγέθεις κίονες μικτού ρυθμού (κορινθο-ιωνικού) από επάνω ως κάτω. Οι κίονες στηρίζονται σε ορθογώνιες βάσεις, που έχουν ύψος όσο το ισόγειο και φέρουν ανάγλυφες παραστάσεις τροπαίων. Ο υπόλοιπος τοίχος του ισογείου αποτελείται από ακατέργαστους λίθους (rustic). Αντί για τους συνήθεις ψευδο-πεσσούς ή ημι-κίονες, εδώ οι τέσσερις υπερμεγέθεις κίονες είναι σε απόσταση από την πρόσοψη. Στις πλαϊνές πλευρές, από τα τρία αψιδωτά παράθυρα το μεσαίο έχει παραστάδες που προεξέχουν, έτσι το αψιδωτό παράθυρο είναι σε βάθος· μεταξύ των παραθύρων υπάρχει ένας υπερμεγέθης ψευδο-πεσσός. Οι κίονες και οι ψευδο-πεσσοί συγκρατούν τη ζωφόρο, που αποτελείται από ορθογώνια και υποστηρίγματα, εναλλάξ. Επάνω από το γείσο υπάρχει το κιγκλίδωμα, που είναι μία σειρά από ατρακτοειδείς κιονίσκους (μπαλούστρο). Αυτό διακοσμείται με αγάλματα (στο κεντρικό μέρος) και βάζα (στα πλάγια). Η ζωφόρος, το γείσο και το κιγκλίδωμα ακολουθούν τις προεξοχές του υποκείμενου τοίχου της πρόσοψης.