Napoleone Bonaparte ebbe due residenze nel corso del suo esilio nell'Isola, la Palazzina dei Mulini e Villa San Martino. Villa San Martino era di fatto la più importante, destinata alla vita privata dell'imperatore che, per la sua attività pubblica, si serviva essenzialmente dell'altra casa, la Palazzina dei Mulini posta nella parte alta di Portoferraio
La Palazzina dei Mulini nella parte alta e più antica del centro storico, in mezzo ai due forti principali delle fortezze medicee: il Forte Falcone e il Forte Stella. Vi si può giungere tramite una scalinata (chiamata appunto Salita Napoleone). La posizione in cima a un alto sperone roccioso particolarmente esposto ai forti venti, fu originariamente utilizzata per la costruzione di quattro mulini; queste costruzioni furono distrutte prima dell'arrivo all'Elba di Napoleone dalle autorità francesi (1808). La Palazzina fu fatta costruire nel XVIII secolo dal granduca di Toscaa e destinata a diventare l'abitazione del giardiniere del Governatore che allora abitava nel Forte Stella. Nei pressi vennero costruite le carceri e una casa per il giudice. Nelle immediate vicinanze venne prevista anche un'area destinata a teatro al servizio delle guarnigioni. La casa fu successivamente ingrandita. Con l'arrivo di Napoleone nel 1814 l'edificio fu modificato sotto le sue direttive, gli interni decorati e l’arredamento rinnovato; venne inoltre dotato di un Biblioteca di circa 2.000 volumi. La Palazzina diventò la residenza ufficiale dell'imperatore sull'isola, utilizzata quindi anche per ricevimenti e feste.
I piazzali e i gradoni affacciati sul mare furono unificati in un giardino nel quale Napoleone dispose un viale di aranci con altre essenze. Napoleone stesso era molto attento alla cura del giardino.
La Palazzina dei Mulini, così come Villa San Martino, è stata adibita a Museo ed è attualmente visitabile.