Het kasteel werd op een strategische plek gebouwd, aan een weg die de Moezel met de regio van de Eifel verbond. In 1268 vond er een familiebreuk plaats in de grafelijke familie die de burcht bewoonde en dit had als gevolg dat ook de burcht in tweeën gesplitst werd. Tijdens de Eltzer Vete verzette de graaf van Eltz zich tegen de politiek van de aartsbisschop van Trier, Boudewijn van Luxemburg. Tijdens dit conflict werd het kasteel belegerd door de partij van de aartsbisschop en tijdens deze belegering werd er een kasteel, Burg Trutzeltz, gebouwd om Eltz te kunnen belegeren. De familie Eltz gaf zich in 1336 over en ze moesten vervolgens ook de verdedigingswerken van het kasteel afbreken waardoor het alleen een wooncomplex werd.[1]

In 1442 werd de twee bovenste verdiepingen op het Rübenachter Huis geplaatst en tussen 1470 en 1540 werd het Grote Rodendorfer Huis gebouwd. Begin zeventiende eeuw vonden er nieuwe verbouwingen plaats, maar deze kwamen stil te liggen door de Dertigjarige Oorlog. Na de oorlog werd de bouw hervat en in totaal kent het kasteel een bouwgeschiedenis van vijf eeuwen. Het kasteel herbergt honderd kamers die meer dan honderd familieleden konden herbergen.[1]