Fino al 1632 l'isola inferiore o "isola di sotto" era uno scoglio roccioso occupato da un minuscolo villaggio di pescatori provvisto di due chiese, una intitolata a san Vittore, presente sin dall'XI secolo, l'altra a san Rocco. I Borromeo, il cui nome iniziale era Vitaliani (provenivano dall'omonima località nel Padovano), ebbero in feudo dai Visconti, nel XV secolo e in varie fasi, tutta questa zona del lago Maggiore, che fu appunto detta "Golfo Borromeo". Vitaliano I Borromeo fu il primo a concepire il progetto di un incredibile palazzo sull'isola Bella. Ma esso venne realizzato in seguito, soprattutto dal 1632: in quell'anno Carlo III Borromeo iniziò la costruzione di un grandioso palazzo dedicato alla moglie, Isabella D'Adda, affidando i lavori al progettista milanese Angelo Crivelli, al quale si deve anche la progettazione dell'impianto di base dei giardini[1].

I lavori subirono una pausa d'arresto verso la metà del XVII secolo a causa della grave epidemia di peste scoppiata nel ducato di Milano.[2]

La costruzione riprese slancio quando l'isola passò ai figli, il cardinale Giberto III (1615–1672) e Vitaliano VI (1620–1690); quest'ultimo in particolare, con l'appoggio finanziario del fratello, affidò il completamento dei lavori all'architetto ticinese Carlo Fontana e fece diventare la villa luogo di feste sontuose e rappresentazioni teatrali per la nobiltà europea. Al palazzo lavorò anche Francesco Maria Richini, e per i giardini intervenne lo scultore milanese Giuseppe Vismara. In epoca neoclassica, nel tardo Settecento, vi lavorò anche Giuseppe Zanoja, progettista del salone da ballo.

Al suo successore, il nipote Carlo IV (1657–1734), si deve invece il completamento dei giardini che furono inaugurati nel 1671. L'isola venne ristrutturata in modo da trasformarla in una fantastica nave, in cui la parte del palazzo era la prua e la parte dei giardini a terrazze, su quello che viene detto anfiteatro o castello (forse per la memoria di un preesistente castello medioevale), la poppa. Il progetto prevedeva infatti un approdo lungo, poi non realizzato in toto, davanti al palazzo nella parte occidentale.

Al periodo di Giberto V Borromeo (1751–1837) risalgono le frequentazioni più illustri dell'isola, da Napoleone con la moglie Giuseppina di Beauharnais alla principessa del Galles Carolina di Brunswick. Quest'ultima vi soggiornò due volte: nel 1797, alla prima campagna d'Italia di Napoleone, e vi tornò poi, innamorata del luogo, nel 1805. Di questi soggiorni abbiamo la stanza di Napoleone, arredata da mobili in stile impero. Sulla prima moglie di Napoleone, racconta un aneddoto che, innamoratasi del luogo, fece di tutto per convincere i Borromeo a vendere l'isola Madre o (meno probabilmente) i castelli di Cannero. Incontrò il rifiuto dei Borromeo, ma seppe assai degnamente consolarsi con la splendida villa d'Este di Cernobbio, sul lago di Como.[3]

Oltre al passaggio di Napoleone, la villa Borromeo sull'isola Bella fu sede anche, dall'11 al 14 aprile 1935, dell'incontro fra Mussolini, Pierre Laval e MacDonald, della conferenza di Stresa, volta a mantenere l'ordine politico a fronte dell'Anschluss tedesco. Questi rappresentanti di stato si riunirono nel salone grande e giunsero a stabilire i cosiddetti "accordi di Stresa".[4]