Палац розташований на території давньоримського міста Augusta Taurinorum, чиї міські ворота Porta Decumana (45р. до н. е.) є частиною сьогоднішнього палацу. Герцог Філіп Савойський інтегрував обидві башти воріт у замок при його будівництві. Протягом 15-го сторіччя при його наступнику Людовіко будівля замку-фортеці була збільшена та були побудовані ще дві башти. Пізніше замок був перебудований у палац — герцогську резиденцію. В 17-му сторіччі Марія Крістіна Французька, регентка Карло Емануеле II яку називали Madama Reale, обрала палац для своєї основної резиденції. З того часу він і називається Палаццо Мадама.

Між 1718 та 1721 роками палац було суттєво перебудовано — він отримав новий фасад, атріум та парадні сходи.

Наприкінці 18-го — в першій половині 19-го сторіччя палац використовувався як тимчасове місце розташування французького уряду під час Наполеонівських воєн, а пізніше — королівської художньої галереї (італ. Pinacoteca Regia). В 1848–1865 рр. в палаці розміщувався Королівський сенат (італ. Senato del Regno) Королівства Сардинія-П'ємонт, а з 1861 року — об'єднаного Королівства Італія, а пізніше — Вищий суд. З 1934 року в будівлі розміщується музей.