Il maestoso castello, che si può ancora oggi ammirare nella Piazza Trieste e Trento, è dotato di spesse mura quadrate e dall'alto delle sue quattro torri, dominava la vasta zona circostante. Fu dimora e rifugio di principi, regine famose, regnanti e capitani di ventura, tra cui si ricordano Giovanna II d'Angiò, tristemente nota per il suo carattere volubile e sensuale e Muzio Attendolo Sforza, padre del più famoso Francesco. Nel 1700, per le alterne fortune e l'incuria umana questo imponente castello era quasi completamente rovinato, tanto è vero che, nel 1750, Carlo III di Borbone (che volle anche la Reggia di Caserta), ne affidò il restauro al suo principale architetto Luigi Vanvitelli per farne un Quartiere di Cavalleria.
Alla fine dell'800 il castello era di nuovo in rovina; solo nel 1931 ritornò alla ribalta per merito del noto frenologo aversano Filippo Saporito (di cui porta adesso il nome), che dopo averlo fatto restaurare, lo adibì a Casa di Cura e di Custodia, divenendo così un Carcere Giudiziario, tra i più famosi d'Italia.