Le prime notizie sul castello si hanno nel VI secolo, nella guerra contro i Goti, ma notizie certe si hanno solo nel XII secolo, quando Federico II di Svevia venne a Gaeta durante la guerra tra guelfi e ghibellini per costruire delle fortificazioni per difendere il proprio territorio.
Nel periodo Angioino (1266-1435) la città tornò alla ribalta. Fu residenza dell'antipapa Clemente VII, l’erede al trono Ladislao dei d'Angiò-Durazzo temporaneamente in esilio vi celebrò le sue nozze e persino la futura Regina Giovanna II visse e scelse di farsi incoronare a Gaeta.
Dal 1435 al 1442 Alfonso d'Aragona fece di Gaeta la propria base per la conquista del trono di Napoli. Nel 1442 Alfonso d’Aragona sconfisse Renato, ultimo regnante degli angioini nel Sud Italia. Durante questo periodo fu eretto un nuovo castello, detto "Alfonsino" mentre vecchio fu rimodernato e unito al nuovo e vi furono aggiunte altre due cinta murarie (oggi scomparse).