Stavební historie místa začala již ve středověku, kdy byla na vrcholu kopce nad Sintrou postavena kaple zasvěcená Panně Marii z Peny. Podle tradice došlo ke stavbě po tamním zjevení Panny Marie. V roce 1493 podnikl král Jan II. v doprovodu své manželky královny Eleonory z Viseu pouť na toto místo. Jeho nástupce, král Manuel I., si tuto svatyni také velmi oblíbil a nařídil na tomto místě postavit klášter, který byl darován řádu svatého Jeronýma (jeronimitům). Po staletí pak byla Pena malým, tichým místem pro meditaci, kde žilo maximálně osmnáct mnichů. V 18. století byl klášter zasažen bleskem a vyhořel. Ještě větší škody však způsobilo velké lisabonské zemětřesení z roku 1755, které jej proměnilo v ruiny. Nicméně kaple (a její sochy z mramoru a alabastru připisované Nicolau Chantereneovi) vyvázly bez významného poškození. Po dlouhá desetiletí zřícenina jen chátrala. Až v roce 1838 se král Ferdinand II. rozhodl přeměnit zbytky kláštera na palác, který by sloužil jako letní sídlo portugalské královské rodiny.[1] Zakázku na přestavbu v romantickém stylu dostal důlní inženýr a amatérský architekt Wilhelm Ludwig von Eschwege. Stavba probíhala v letech 1842 až 1854. Do výzdoby a symboliky zasáhli král Ferdinand i jeho žena královna Marie II. Král mimo jiné navrhl začlenění středověkých a islámských prvků a také navrhl zdobené okno pro hlavní průčelí (inspirované oknem kapitulní síně Kláštera Řádu Kristova v Tomaru). Po Ferdinandově smrti přešel palác do majetku jeho druhé manželky Elisy Henslerové, hraběnky z Edly. Ta pak prodala palác králi Ludvíkovi I., který ho tak získal zpět pro královskou rodinu. V roce 1889 jej koupil portugalský stát a po republikánské revoluci v roce 1910 byl klasifikován jako národní kulturní památka a přeměněn na muzeum. Poslední královna Portugalska, Amélie Orleánská, zde strávila poslední noc před odchodem do exilu. Palác se rychle stal jednou z nejnavštěvovanějších portugalských památek. V průběhu času původně červená a žlutá barva fasády vybledly a po mnoho let byl palác zcela šedý. Koncem 20. století byly ale, po jistých diskusích, obnoveny původní barvy.