È la prima struttura che colpisce lo sguardo arrivando dal mare, dominando i tetti del paese. Raggiungibile con una passeggiata tra le case, offre un panorama spettacolare.
Il castello venne costruito dal 1540 dai Genovesi a seguito della distruzione ad opera del corsaro Turgut Reis (detto Dragut) del preestistente fortino pisano del XII secolo.
Con la costruzione del forte, che poteva, all'occorrenza, ospitare tutta la popolazione, venne abbandonato l'insediamento al centro dell'isola (la piana presso la chiesa di Santo Stefano) e sviluppato maggiormente il porto.
Nell'Ottocento una grande frana, ancora ben visibile dal mare, coinvolse il lato est del Forte, provocando numerose vittime tra i suoi abitanti e distruggendo il "Quartiere delle donne", che comprendeva un monastero di suore. Oggi il castello è ristrutturato e i ritrovamenti effettuati durante il restauro ci permettono di svelare alcuni dei segreti racchiusi in questa notevole opera architettonica. Ad esempio, sotto il pavimento del salone principale, è stata ritrovata la Chiesa di Capraia, attiva dal ‘400 fino alla metà del ‘700. La chiesa era anche luogo di sepoltura che ha accolto i corpi di 150 uomini (probabilmente uccisi da un’epidemia). Gli altri spazi del castello erano occupati da abitazioni e comprendevano anche una stanza areata in cui veniva conservato il sale.