Livorno per la sua posizione strategica sul Tirreno e per la sua importanza in quanto porto dai traffici molto attivi, è sempre stata caratterizzata da un assetto di tipo difensivo. Con il dominio dei Medici assistiamo ad un ulteriore potenziamento delle difese: bisogna pensare che la città era un porto prezioso per il Granducato di Toscana e non si poteva rischiare che venisse attaccata dai nemici, come i pirati Saraceni o Mori che imperversavano nel Tirreno e in tutto il Mediterraneo.
I primi interventi medicei riguardano il potenziamento delle difese della città: la Quadratura dei Pisani fu ampliata e furono aggiunti tutti quegli elementi architettonici di difesa che erano stati studiati in quegli anni per rendere le difese più efficienti, come per esempio i bastioni. Dagli interventi sulla Quadratura dei Pisani e sulle strutture difensive preesistenti prende origine uno dei simboli già importanti di Livorno: la Fortezza Vecchia (così chiamata per distinguerla da quella successiva, detta appunto Nuova).
I lavori furono avviati nel 1519 e il progetto fu affidato ad Antonio da Sangallo il Vecchio e furono terminati dopo alcune importanti interruzioni (il Sacco di Roma nel 1527 e la peste di inizio anni 30) nel 1534. La fortezza ha una struttura quadrangolare, i bastioni costruiti sono tre mentre il lato verso il mare è protetto utilizzando le strutture preesistenti, la Quadratura dei Pisani e il Mastio di Matilde.