La sua costruzione risale al 1470 per volere del duca Pirro del Balzo nell'ottica di un progetto di fortificazione più ampio. Si tratta di una costruzione imponente, a pianta quadrata con quattro torri cilindriche. Lo stemma dei Del Balzo, il sole raggiante, è visibile sulla torre ovest. La costruzione del castello e lo scavo del fossato in conformità alle nuove dottrine fortificatorie comportò la demolizione della cattedrale romanica e del quartiere che la circondava. Fu pertanto costruita una nuova cattedrale in una espansione dell'abitato sulla parte bassa del pianoro dove sorge la città.

Da fortezza fu trasformato in dimora signorile da Carlo ed Emanuele Gesualdo, con l'aggiunta della loggia interna, dell'ala nord-ovest e dei ridotti alla base dei torrioni, e ospitò dal 1612 l'Accademia dei Rinascenti.

Le quattro torri cilindriche agli angoli, inizialmente coronate da merlature e probabilmente da tetti conici, sono sostenute da ridotti che costituiscono la scarpa del fossato, utilizzati come prigioni, e tutto l'edificio, a cui si accede tramite un ponte levatoio, è circondato da un profondo fossato. All'interno si apre un ampio cortile circondato da un loggiato rinascimentale. Di fronte al castello c'è invece una piazza porticata e una fontana monumentale concessa a Venosa da Carlo I d'Angiò.

Al suo interno, negli ambienti ricavati nei basamenti delle torri, il castello ospita il Museo nazionale di Venosa, che conserva soprattutto le ricche testimonianze della colonia romana di Venusia.