Finalement, Armand fut arrêté. Son frère cadet Jules, le futur ministre de Charles X, vint aussitôt se livrer. Il n’y avait contre celui-ci que des charges insignifiantes et sans doute, quoique frappé par un jugement, il eût été bientôt remis en liberté. Mais son frère étant condamné à mort, il offrit de mourir à sa place. Puis, quand l’Empereur eut commué la peine capitale en celle de la détention perpétuelle, il demanda comme une grâce et obtint de rester prisonnier avec son aîné. On les envoya ensemble au fort de Ham. Bientôt après le commandant de ce fort ayant signalé la difficulté de garder des prisonniers « aussi séduisants que ceux-là et à qui personne ne résistait », on les ramena à Paris, où ils furent écroués au fort de Vincennes.
On les y laissa jusqu’en 1811. À cette époque, Jules ayant purgé sa peine, Réal proposa à l’Empereur de le mettre en liberté. Mais Jules, persistant à ne pas se séparer de son frère, on les maintint prisonniers tous deux, en leur donnant pour prison une maison de santé du faubourg Saint-Jacques tenue par une veuve Depyron. Ils demeurèrent là, durant deux années, recevant tous les jours des visites : celle de leurs parents, de Mme Armand de Polignac, du duc de Brancas, chambellan de l’Empereur, d’Eugène et d’Adrien de Montmorency, d’autres encore. Ils étaient traités avec bienveillance, recevaient quarante francs par jour pour leur entretien et semblaient fort éloignés de l’idée de s’enfuir, lorsqu’en janvier 1814 la police, mise en éveil par des mouvements royalistes signalés en Vendée, songea à les remettre à Vincennes.
Un avertissement qu’ils reçurent à ce sujet les décida à s’enfuir. Comment ils s’y prirent, les documents ne le disent pas. Ce qui est certain, c’est que, le 28 janvier, la dame Depyron étant entrée dans leur appartement le
