La historia de este castillo comienza con el conde Florencio V que construyó un castillo de piedra en la desembocadura del río en 1280, cuando obtuvo el control sobre un área que formaba parte de la Sede de Utrecht.[1]​ El río Vecht era la ruta comercial hacia Utrecht, una de las ciudades comerciales más importantes de esa época y el castillo fue utilizado para exigir un peaje a los comerciantes. Sus dimensiones son relativamente pequeñas, mide 32 por 35 metros, con paredes de ladrillo de más de 1,5 metros de espesor y con un gran foso que lo rodeaba.

En 1297 el castillo fue conquistado por Willem II Berthout, arzobispo de Utrecht y hacia el 1300, el castillo quedó arrasado.[1]​

Cien años más tarde (ca. 1370-1386), Alberto I de Baviera, que en esos momentos era conde de Holanda y Zelanda lo reconstruyó en el mismo lugar y con las mismas características que el antiguo.[1]​

Otro de los propietarios célebres del castillo fue Pieter Corneliszoon Hooft (1581-1647), afamado poeta e historiador, que era gobernador y agente judicial de la zona de (Het Gooiland). Durante 39 años pasó sus veranos en el castillo adonde invitaba a su círculo de amigos, escritores y pintores como Joost van den Vondel, Constantijn Huygens, Gerbrand Bredero, Anna Visscher o Maria Tesselschade Visscher. Este grupo llegó a ser conocido como el Muiderkring.[2]​ También extendió los jardines y el huerto de ciruelos.

A finales del siglo XVIII, el castillo fue utilizado como prisión, y posteriormente quedó abandonado. Su ruina hizo que se pusiera a la venta en 1825 para su demolición. Solo la intervención de rey Rey Guillermo I lo impidió. Pasaron otros setenta años hasta que se reunió suficiente dinero para su restauración.

El castillo es en la actualidad un museo nacional (Rijksmuseum). El interior del castillo, sus habitaciones y cocinas han sido restauradas a la apariencia que tenían en el siglo XVII y muchas de las estancias muestran una colección de armas y armaduras.