Die Festung stammt aus dem Jahre 1470 und sollte Teil eines größeren Befestigungsprojektes werden. Die imposante Konstruktion hat einen quadratischen Grundriss mit vier zylindrischen Ecktürmen. Das Wappen der Del Balzos, eine strahlende Sonne, kann man auf dem westlichen Turm sehen. Der Bau der Festung und das Ausheben des Burggrabens in Übereinstimmung mit der Doktrin eines modernen Sternforts bedingte den Abriss der romanischen Kathedrale und des umgebenen Viertels. Demzufolge baute man eine neue Kathedrale in einer Erweiterung der Siedlung im unteren Teil des Plateaus, auf dem die Siedlung liegt.

Carlo und Emanuele Gesualdo ließen die Festung durch Anbauen einer inneren Loggia, des Nordostflügel und der Redouten am Fuße der Türme in eine Adelsresidenz umbauen. Seit 1612 ist dort die Accademia dei Rinascenti untergebracht.

Die vier zylindrischen Ecktürme werden durch die Redouten unterstützt, aus denen die Anschrägung des Burggrabens besteht; sie dienten als Gefängnisse. Das gesamte Gebäude, das man über eine Zugbrücke erreichen kann, ist von einem tiefen Graben umgeben. Im Inneren der Anlage öffnet sich ein weiter Innenhof, umgeben von einer Loggia aus der Renaissance. Vor der Festung dagegen befinden sich ein Vorplatz und ein Monumentalbrunnen, der Venosa von Karl V. gestiftet wurde.

In den Innenräumen in den Kellern der Türme ist das Archäologische Nationalmuseum Venosa untergebracht, in dem vor allen Dingen reiche Zeugnisse der römischen Kolonie Venusia bewahrt werden.