Le tribunal, malgré la peinture éloquente que fit Bonnet de la sollicitude d’Hortense pour l’éducation de ses enfans, retira le jeune duc de Saint-Leu à son roi, et ordonna « que sous trois mois il serait remis à son père ou à son fondé de pouvoirs. » Le retour de l’île d’Elbe avait empêché l’exécution du jugement. Louis la poursuivit après la seconde Restauration et l’obtint. Le désespoir du petit prince Louis, qui n’avait jamais quitté son frère et qui tomba ainsi dans une solitude cruelle, ne fut dépassé que par celui de sa mère : on crut qu’elle succomberait à cette épreuve.
Ce fut une dure situation que celle de la famille Bonaparte après la seconde Restauration. Une loi draconienne (du 12 janvier 1816) prononçait contre eux, à tous les degrés et même contre leurs alliés, l’exil, sanctionné par la peine de mort, aggravé par la privation des droits civils, titres, pensions, par l’obligation de vendre dans les six mois tous les biens possédés à titre onéreux. Au duc de Richelieu, qui appuyait certaines réclamations de la reine Catherine, Louis XVIII répondait « Il n’y a pas de justice en France pour les Bonaparte. » Dans leur exil, chacun des membres de la famille proscrite subissait une surveillance de haute police exercée, au nom de la Sainte-Alliance, par le gouvernement sur le territoire duquel ils séjournaient. Ils ne pouvaient se déplacer sans un passeport délivré par les ambassadeurs des quatre grandes puissances à Paris.
Joseph échappa à cette oppression en s’embarquant pour les États-Unis, où, accueilli avec respect, il s’établit à Point Breeze, au bord du fleuve Delaware, sous le nom de comte de Survillers. Ses frères et sœurs, cachés sous des noms protecteurs, errèrent de divers côtés, essayant tous de se rapprocher de celle qui était le centre de la famille, Mme Letizia, établie à Rome dans un palais du Corso.
Lucien, prince romain, y parvint aisément ; il redevint le prince Canino et s’installa à la Ruffinella, près Frascati. Louis se fixa à Florence avec son fils aîné. Jérôme, après avoir été emprisonné un an à Elwangen par son beau-père, le roi de Wurtemberg, dut s’arrêter d’abord à Trieste, non loin de sa sœur Caroline. Là, naquirent deux de ses enfans, la princesse Mathilde, le prince Jérôme-Napoléon. Il n’obtint de se fixer à Rome qu’en 1823. Mais peu après il fut obligé d’abandonner et de vendre la belle habitation qu’il avait construite près de Ferno, parce
