Il Palazzo San Giacomo fu fatto costruire in forma ridotta dal nobile fiorentino Nicola Spina, nelle adiacenze della chiesa di S. Giacomo dei Pisani o degli Italiani ed ospitò il monte di S. Giacomo degli Italiani. La chiesa è anche detta dell'Ulivo o della Natività della Vergine.
Nel 1750 un discendente di questi, Francescantonio Spina, trasferitosi da Gaeta a Castellone (oggi Formia) vendette il palazzo a Giuseppe Diaz che, a sua volta, lo alienò a favore del Governo nel 1792. Questi, lo ampliò per trasformarlo in succursale dell'Ospedale Militare di Gaeta.
Nel 1878 fu acquistato dal Comune di Gaeta ed adibito a sede degli Uffici della Pubblica Istruzione. Nel 1930 ospitava le scuole secondarie inferiore (Avviamento professionale) e le elementari.
Il fabbricato è posto sul versante orientale di monte Orlando nello spazio racchiuso tra via Angioina e via De Lieto. E' costituito da due piani più il terreno e l'attico.