Походження замку безпосередньо пов'язане з великими колонізаційними зусиллями чеського короля Пржемисла Отакара II, який у другій половині 13 століття започаткував велику кількість нових сіл, а також три міста - Бездєз, Докси та Куржеводи. Сам замок був споруджений правителем як адміністративний центр великого королівського маєтку та для його захисту, а також для захисту важливого торгового шляху, що веде від Мельника до Циттау. Будівництво замку відбулося між 1265–1278 рр., на його зовнішній вигляд вплинули значні королівські вироби із заліза, під впливом будівельного мистецтва, яке принесли в Богемію ченці-цистерціанці з Бургундії та Північної Німеччини. Будівля була виконана з величезною точністю, була створена дуже вражаюча рання готична робота, яка прекрасно представляла особу її засновника Пржемисла Отакара II.

Замок також увійшов в історію Чехії як місце, де були ув'язнені пізніший король Вацлав II та його мати, русинка Кунегунда Ростиславна (Галицька). Їх обох привезли сюди і тривали при варті з січня 1279 року під час навали Бранденбурга на Чехію. Кунегунді вдалося втекти Праги у квітні, Вацлав II був вивезений до Циттау, де провів у неволі ще чотири роки. Пізніше він кілька разів повертався до Бездєза, а потім віддав його магнатам з Дубе, позаяк потребував гроші.

До 1588 року в історії замку чергувалися періоди, коли він опинився безпосередньо під королівською короною, і періоди, коли його посідали потужні дворянські родини. Він був куплений у власників Дуби королем Карлом IV, який жив тут у 1351, 1352, 1357 та 1367 роках. Син Карла Вацлав IV повернув замок назад у заставу. Іншими власниками були Марґравей Прокоп, Гавел із Зверетіце, Ян з Міхаловиць та багато інших. У 1621 році, після битви на Білій горі, замок був завойований і спалений.

Після 1624 р. укріплення придбав Альбрехт Валленштейн, який у 1627 р. дарував його ченцям ордена емеритів св. Августина. У 1633 році Валленштейн на численні просьби Бели з-під Бездєза передав йому фортецю у володіння. Замок був завойований шведами у 1642 році. З 1662 р. ігумен Антоніо де Сото Майор почав перетворювати замок під монастир іспанських монсератських бенедиктинців та місце паломництва, пристосовуючи палац Бурграв до трапезної та цілей ченців. З 1662 по 1785 рр. відбулася передача монастиря ордену монахів-бенедиктинців, який також функціонував як важливе місце паломництва маріанців. У 1666 році до замкової каплиці було передано один із трьох примірників Чорної Діви Марії Монтсеррат. У 1681 р. на під’їзній дорозі до замку було збудовано 15 каплиць хрестових станцій Хресної дороги, а у 1732 р. Було додано дерев’яну дзвіницю. У 1778 році замок був завойований прусською армією, а в 1785 р. кінець монастиря настав за наказом імператора Йосифа II. Після ліквідування монастиря замок був покинутий, ченці, забезпечені монастирською каплицею, у якій була статуя Діви Марії, були доправлені до церкви в Доксах, яка взяла на себе функцію місця паломництва. Ченці подарували решту церковного начиння навколишнім церквам або відвезли їх до свого абатства в Еммаусі, Прага.