Das Areal wurde bereits 1699 als Jægersborg Dyrehave auf Initiative von Friedrich III. umzäunt. Sein Projekt wurde zu Lebzeiten nicht fertig gestellt und so änderte Christian V. seine Pläne. Letzterer wurde von seiner Zeit am Hofe von Ludwig XIV. In Frankreich beeinflusst und er nahm ein größeres Areal in Anspruch, um einen neuen Stil in der Hetzjagd (Parforcejagd) zu etablieren. Diese sah vor, mit Jagdhunden die Beute zu hetzen, damit die Jäger die Beute einfacher erlegen konnten.[1] Damit die Jäger die Fährte der Hunde einfach aufnehmen konnten, wurden sternförmig angelegte Pfade geplant, sodass die Jäger von den Kreuzungspunkten die Beute sehen konnten.

Für die Umzäunung des größeren Gebietes war eine Zwangsumsiedelung der Anwohner erforderlich und der Ort Stokkerup wurde abgerissen. Daran erinnert heute nur der Teich südlich des Jagdschlosses.

Das erste Jagdanwesen auf dem Gebiet war das Hubertus Chalet (dän.: Hubertushuset).[2] Es wurde gebaut von Hans van Steenwinckel III. für Christian V. und um 1694 fertig gestellt. Es war ein zweistöckiges Fachwerkhaus. Die Substanz war bald schon baufällig und so wurde trotz ausgiebigen Reparaturen 1731 im Jahr 1734 Lauritz de Thurah beauftragt.[3] Das neue Jagdanwesen wurde für einen Betrag von 18.000 dänischen Reichstalern gebaut.

1786 sollte das Schloss renoviert werden, doch die geschätzten Kosten von 3000 Reichstalern galten als zu hoch. In 1790 wurde die Entscheidung zum Abriss gefällt. Graf Rantzau setzte sich für den Erhalt des Gebäudes ein und fragte den König um Erlaubnis, das Gebäude für seinen Privatbesitz zu erwerben im Austausch für das Anwesen von Rantzau in Jægersborg. In 1794 hatte das Unternehmen Erfolg und Rantzau begann die Renovierung des Gebäudes für 4000 Reichstaler. Dann wenige Jahre später im Jahr 1797 entschied er das Schloss wieder zu verkaufen und so wurde die Eremitage wieder zu königlichem Besitz.

Wiederum ein Jahr später initiierte der Architekt Johann Boyne Junge Magens erneut Reparaturen und in Zuge dessen wurden einige zeittypische Baudekorationen entfernt.

Im frühen 19. Jahrhundert nach dem Kieler Frieden veränderte Friedrich VI. Die Nutzung von Dyrehaven. Der Park wurde nicht mehr für die Jagd, sondern nun hauptsächlich für militärische Übungen und auch die Eremitage wurde für die Erholung des Königs und der Offiziere genutzt.[4]

Als Christian VIII. in 1839 König wurde, wurde auch die Jagd wieder aufgenommen. Zusätzlich wurde die Eremitage Ort großer öffentlicher Treffen und politischer Verhandlungen. Am 5. Juni 1849 unterschrieb Friedrich VII. die junge dänische Verfassung. Um 11.15 Uhr endete dort die absolute Monarchie in Dänemark. Fünf Jahre später wurde die Verfassung in und um die Eremitage mit 30000 Anwesenden gefeiert.

In den 1890er Jahren wurde der Architekt Ferdinand Meldahl mit der Rekonstruktion des barocken Bauschmuckes beauftragt. Auch im Inneren wurden die übermalten Dekorationen freigelegt und sorgfältig renoviert.

Heute wird das Schloss vom Kulturministerium unterhalten und im Juni 2013 wurde es von Margarethe II. von Dänemark nach Renovierungsarbeiten wieder eröffnet.[5]