Il Castello, detto anche dei Celestii, appartenne agli Angioini e, prima, quasi sicuramente agli stessi Svevi; purtroppo di questo castello oggi non rimane alcuna traccia. Era costituito da quattro torri merlate, su cui sventolavano i simboli dei reggenti della città, come si vede da un dipinto di Angelillo Arcuccio del 1468: il Martirio di S. Sebastiano, conservato nella sagrestia del Duomo, ed era in comunicazione con gli altri castelli vicini tramite lunghe gallerie sotterranee. In questo maniero venne incarcerato, nel 1295, Giovanni Pignatello e fatta prigioniera, nel 1308, la principessa d'Acacia, Matilde; nel 1382 vi venne ospitato anche Papa Urbano VI. Il castello è passato però alla storia per i suoi atroci delitti, tra cui quello di Andrea d'Ungheria, marito di Giovanna I d'Angiò-Durazzo, assassinato barbaramente nel suo letto nuziale, la notte del 17 settembre 1345 e quello del suo principale congiurato, Carlo di Durazzo, ucciso durante un banchetto, la sera del 17 gennaio 1348.
Sconvolta da tanti misfatti, la stessa regina Giovanna I donò, nel 1364, il castello ai Padri Celestini del vicino convento, dal nome dei quali la fortezza ebbe in seguito a chiamarsi.