As primeiras construções do castelo foram feitas no século XV, por Frederico II de Celje e tem como sucessor o Ivan Vitovec.[1]

No ano de 1502, Ivan Korvin cede Veliki Tabor para Pavao Rattkay da Hungria, devido a serviços militares prestados. No ano de 1503, Pavao Rattkay morre, e seus irmãos Ladislav e Benedikt ampliam o castelo Veliki Tabor. Durante a invasão turca, o castelo incrementou sua defesa e foi fortemente expandido. Em 1593, com a vitória sobre os trucos, a família Rattkay ajustou o forte para se tornar uma residência. Em 1793, após a morte de Josip Ivan Rattkay, último membro da família Rattkay, o castelo é abandonado. O castelo passa a ser de propriedade da Câmara Real, que doa o castelo para o Conde Thuguth, ministro das relações exteriores. Em 1818, com a morte de Thuguth, o castelo volta para a Câmara Real. O castelo passa por diversos proprietários e foi usado como prisão durante a Primeira Guerra Mundial.[1][2]

Em 1919, o castelo é comprado, através de leilão, pelo pintor Oton Iveković, que viveu no local até o ano de 1938. Por causa do alto custo de manutenção do castelo, Iveković vende a propriedade para a Direção do Governo Civil, que cedeu a propriedade para as freiras da Ordem Terceira de São Francisco., com o reverendo Ivan Vukina sendo o administrador provisório do castelo. Entre os anos de 1938 e 1943, os custos de manutenção ficaram a cargo de Banat, através do reverendo. Em novembro de 1945, as freiras se mudam para um novo local e o castelo passou a ser de propriedade pública, e foi usado para diversos fins.[1][2]

Na data de 1 de julho de 1955, o castelo foi declarado Patrimônio Cultural, pelo Instituto de Conservação do Povo da República da Croácia, sob processo de nº 1262/1955. Nos primeiros anos de 1960, o Instituto de Conservação fez reparos urgentes na edificação; e no início da década de 1990, o Ministério da Cultura da Croácia ajuda financeiramente nas obras.[2]

No ano de 1993, o Governo da Croácia cede a administração do castelo para a instituição de museus Muzeji Hrvatskog zagorja.[2]