Fu costruito verso l'XI-XII secolo quando fu ampliata una semplice torretta da guardia di origine longobarda[1]. La prima menzione del castello risale al 1525, quando si narra di restauri del castello stesso[2]. Nel XVI secolo le mura risultano riedificate più alte delle precedenti ma senza merlature[1]. Durante la signoria degli Annecchino vennero rafforzate le torri esistenti e ne venne aggiunta una di forma circolare. Tuttavia gli interventi maggiori vennero realizzati durante la baronia dei Carafa, baronia che durò nel paese tra il 1531 ed il 1600: venne eretta nel 1577 la cappella del Santissimo Rosario e venne migliorato l'approvvigionamento di acqua piovana. Durante la signoria successiva dei Corvi, che durò tra il 1600 ed il 1717, si videro altri interventi, in particolare dopo il 1705, quando si distrusse il ponte levatoio e vennero edificati la garitta dell'ingresso ed il muro di protezione della rampa d'accesso[3], ristrutturazione annotata in un documento notarile[2]. Negli anni successivi il castello, dopo anni di abbandono, subì vari crolli tra cui nel 1940 quello della "torre del cuore" (così chiamata per lo stemma sulla porta principale)[1]. Nel 1985 gli ultimi proprietari, i Croce Nanni, donarono il castello al comune che ne decise il restauro[2]. partito negli anni novanta del XX secolo[1] e terminato nel 1996[3].

Una leggenda del castello riguarda l'applicazione della norma del cosiddetto Ius primæ noctis: secondo questa leggenda, il barone del castello, Corvo de' Corvis, nel 1646 pretese di far valere questa norma, che obbligava tutte le donne del paese a passare la prima notte di nozze con lui anziché con il consorte appena sposato. Si narra che l'ultima sposa novella, o il marito legittimo travestito con le sue vesti, salito alla rocca per la consumazione prevista, abbia invece accoltellato il barone; sembra inoltre che quest'ultimo, mentre moriva, abbia anche lasciato su una roccia l'impronta indelebile della sua mano insanguinata.

Infatti secondo la tradizione popolare, questa impronta (che risultò ben visibile dopo i crolli del 1940), ricomparirebbe di continuo, nonostante sia stata lavata via numerose volte[4].