La première mention d'un "camp", "Thabor aliter Wrbowicz", date de 1497[1] ; c'est en 1513 qu'un document mentionné pour la première fois le Veliki Tabor, comme "Naghthabor" ("Nagh" voulant dire "grand" dans le hongrois de l'époque --nagy de nos jours). On utilise aussi parfois l'appellation ancienne de Vingrad, qui n'est toujours pas oubliée dans la région[2].

Jusqu'au milieu du XVe siècle c'étaient les comtes de Celje qui possédaient le site du Veliki Tabor : c'est le roi Sigismond de Luxembourg qui le leur avait attribué, après que le comte Hermann II l'avait sauvé à la Bataille de Nicopolis en 1396[3].
C'est aussi en raison de leurs liens avec la famille de Luxembourg qu'ils l'ont perdu, puisque c'est en défendant les intérêts de Ladislas le Posthume, petit-fils de Sigismond, contre les Hunyade, que le petit-fils de Hermann II, Ulrich II de Celje, fut assassiné en 1436 à Belgrade par les sbires de Ladislas Hunyade, ce qui mit fin à la dynastie des comtes de Celje[4].
Ce sont les Habsbourg qui, à l'issue d'une courte guerre, reprirent les possessions des comtes de Celje.

C'est en 1502 que le château passe aux mains de la noble famille Rattkay originaire de Hongrie, il y restera jusqu'en 1793 ; les habitants du lieu sont encore fiers de s'appeler "ratkajci" et "Ratkajec" y demeure un nom de famille répandu[5].

Jean Corvin, fils illégitime de feu le roi Matthias et Ban de Croatie, attribue alors le château du Veliki Tabor et son fief de Desinić[6], dépendant du château du Veliki Tabor, au capitaine Paul Rattkay d'une noble famille hongroise, que les documents historiques, dès l'an 1400, appellent "de Ratkha[7]", du nom de leur domaine sur la rivière Sajó dans le district de Gömör (Gemer en slovaque comme en croate), dans ce qui était alors la Haute-Hongrie, "de Ratkha" se traduisant en hongrois par "Rattkay" dans la graphie de l'époque[8].

Paul meurt en 1503 ; ses frères Benoît (mort en 1520) et Louis (mort en 1530) lui succèdent[9]. À ce dernier, Georges de Brandebourg attribuera aussi en 1524 le château de Mali Tabor ("Le Petit camp") près de Hum na Sutli[10], de sorte que les documents parleront de Paul, Benoît et Louis Rattkay comme des Rattkay de Nagy et Kys Tabor --Nagy voulant dire "grand" en hongrois, kis (pron. actuelle : "kich") veut dire "petit"[11].

Paul II Rattkay (mort en 1556), fils de Louis, fut vice-Ban de Croatie en 1538 et 1539, sous-joupan des comitats de Križevci et Varaždin et juge patricien (plemićki sudac) du comitat de Varaždin. Il se distingua dans la guerre contre les Ottomans à Veszprém en 1549 et Babócsa en 1556.
C'est à ses fils Paul III (mort aux environs de 1578) et Pierre II (mort en 1586) que le roi Ferdinand I accorda en 1559 le titre de baron.
En 1578, c'est le roi Rodolphe II qui accorde à Pierre II une charte renouvelant le titre de noblesse des Rattkay et leur blason, pour ses exploits contre les Turcs dans la Frontière militaire de la Croatie.
Ses fils fondent deux branches de la famille, dont l'une disparaît vers 1689 avec la mort de Paul-Antoine, fils de Paul IV. L'autre branche de la famille, pour trois siècles de défense de la chrétienté et du royaume de Hongrie-Croatie contre les envahisseurs ottomans[12], reçoit en 1687 du Roi Léopold Ier le titre de comte, ce qui place la famille au plus haut rang de la noblesse croate.
C'est cette branche qui s'éteint en 1793 avec Joseph-Jean[13].

Après la famille Rattkay, le Veliki Tabor n'a pas retrouvé de vrai seigneur : il se retrouva d'abord sous l'administration de la Chambre royale (kraljevska komora) puis le roi François II l'accorda au ministre Thugut, puis il revint sous la garde de la Chambre royale jusqu'à la fin du XIXe siècle, lorsque les frères Grunwald, deux négociants, en devinrent propriétaires jusqu'à la Première Guerre mondiale. Pendant la guerre le château servit de prison, pour se retrouver en 1927 sans personne pour l'entretenir.
C'est alors que le peintre Oton Iveković, celui-là même qui a décoré la Chapelle Sainte-Anne à Desinić, l'acheta aux enchères pour 100 000 dinars, le gouvernement en rajoutant 10 000 pour la nécessaire remise en état. Bien qu'attiré et inspiré par son pays natal, Oton Iveković n'a guère entretenu le château ; tombé malade, il l'abandonna en 1935 pour la ville de Klanjec, où il mourut quatre ans plus tard. En 1938 la famille Iveković brada le château à l'administration provinciale (banska uprava[14]), mais aucun des départements de cette administration ne voulut s'en charger : elle le confia ensuite aux Filles du Cœur Miséricordieux de Blato à Korčula (kćeri milosrđa iz Blata na Korčuli). Pendant la Seconde guerre mondiale, celles-ci y soignèrent les Partisans, et après la guerre, jusqu'en 1950, s'y occupèrent d'une soixantaine d'enfants qui avaient perdu leurs parents pendant la guerre[15].

L'Association "Veliki Tabor" (Udruga "Veliki Tabor"[16]) à Desinić est la concrétisation formelle, en 1998, d'un projet entrepris dès 1975 par le désormais feu professeur Josip Štimac, pour restaurer le château alors laissé à l'abandon. C'est alors qu'avait été lancé le "Musée local de la commune de Pregrada" (Zavičajni muzej općine Pregrada) puisqu'alors Desinić en faisait partie.
Le 3 mars 1990 était fondée l'Organisation associative pour la revitalisation du Veliki Tabor (Društvena organizacija za revitalizaciju Velikog Tabora), successeur légal du "Musée local" et précurseur de l'Association actuelle.
En 1993, à l'occasion du 200e anniversaire du décès du dernier héritier mâle de la famille Rattkay, l'Organisation a tenu, avec l'aide du Musée Historique Croate, une grande exposition sous le titre "Les Rattkay de Veliki Tabor dans l'histoire et la culture croates" (Rattkayi Velikotaborski u hrvatskoj povijesti i kulturi).

Aujourd'hui, le Veliki Tabor a été repris par l'état croate, qui en a fait un musée et une attraction touristique, après l'avoir fermé au public et restauré de novembre 2008 à novembre 2011[17],[18].

Depuis 2002, le Veliki Tabor est le lieu de rendez-vous d'un festival international de courts métrages : le Tabor Film Festival[19].