Место замка Сафра и окружающая его территория были обитаемы с глубокой древности. В окрестностях замка обнаружены осколки керамики бронзового и железного веков. Древняя кладка в основании замка свидетельствует о том, что скала, вероятно, была обжита ещё древними римлянами. Принято считать, что первая крепость на этом месте была возведена до 720 года в эпоху Королевства вестготов. Достоверно известно, что во времена тайфы Толедо здесь было мавританское укрепление для контролирования окружающих территорий[1].

Крепость мавров перешла в руки испанцев в 1129 году, когда христианские королевства севера отвоевали Сафру в ходе Реконкисты. Королевство Арагон использовало крепость в качестве ключевой оборонительной позиции на юге своей территории[2].

Существующий замок построен во второй половине XII — начале XIII века семьёй Манрике де Лара, стремившейся укрепить свои владения в сеньории Молина. Укрепления замка были испытаны в 1222 году, когда дон Гонсало Перес де Лара, третий сеньор Молины, навлёк гнев короля Кастилии Фернандо III своими бесчинствами на сопредельных территориях. Другие кастильские сеньоры также начали набеги на королевские территории в попытке свергнуть кастильского короля Фернандо и поддержать его соперника, короля Леона Альфонсо IX[2]. Когда армия Фернандо двинулась на Молину, дон Гонсало укрылся в замке Сафра со своей семьёй, слугами и сторонниками. Королевская армия не смогла взять замок штурмом и после нескольких недель осады стороны приступили к переговорам. В соответствии с заключённым соглашением, сеньория де Молина после смерти дона Гонсало отходила его дочери Мафалде Гонсалес де Лара, которая, в свою очередь, должна была выйти замуж за брата короля Фернандо — принца Альфонсо. Таким образом был оговорён будущий переход сеньории Молина и замка Сафра в королевский домен[3].

Во время гражданской войны в Кастилии король Энрике II пожаловал замок и сеньорию Молина своему французскому наёмнику Бертрану Дюгеклену. Однако население Молины восстало и призвало короля Педро IV Арагонского. Замок был взят и затем отошёл вассалу короля Педро IV, Де Вере. В конце концов, замок вернулся Кастилии в результате брака, но в XV веке король Энрике IV спровоцировал ещё одно восстание, отдав замок и город своему фавориту Бельтрану де ла Куэва. Его кастелян дон Хуан де Омбрадос Мало удерживал замок под королевским контролем, пока, в конце концов, королевства Кастилия и Арагон не объединились при браке Изабеллы и Фердинанда в 1469 году. Замок был пожалован дону Хуану в наследственную собственность и оставался в ней в течение многих лет после этого[3].

Замок оставался собственностью испанского государства до весны 1971 года, когда он был продан на аукционе за 30 000 испанских песет. Его покупателем стал дон Антонио Санс Поло (1913—2008), потомок дона Хуана де Омбрадоса Мало и выдающийся педагог. Его семья хранила документы дона Хуана в течение более 400 лет, передавая их из поколения в поколение. Однако к этому времени замок был полностью разрушен. Санс Поло потратил следующие 30 лет и большую часть своего состояния на восстановление замка, наём архитекторов и историков. За свои усилия Антонио Санс Поло был награждён Национальной ассоциации друзей замков медалью «За заслуги»[4].