Ils n’y restèrent pas longtemps. Dès 1800, aux premiers jours du consulat, on les jette aux Quinze-Vingts, où ils occupent un quartier à part. L’école devenait hospice, c’était la détruire. Valentin Haüy n’était point un homme de lutte, sa nature presque timide s’effrayait promptement. Il sollicita une destinée meilleure pour ses enfans, et ne put rien obtenir. Bonaparte n’aimait point ceux qu’il appelait des idéologues : or le pauvre Valentin Haüy en était un ; il avait été théophilanthrope, il avait porté la robe blanche et avait marché derrière le grand pontife Larevellière-Lépeaux dans les innocentes et puériles cérémonies dont Notre-Dame avait été le théâtre. Larevellière avait tenu rigueur au consulat. Valentin Haüy fut-il soupçonné d’opposition, prouva-t-il une incapacité administrative trop absolue ? Je ne sais, mais le sort ne fut doux ni pour ceux qui avaient inspiré tant d’intérêt dix ans auparavant, ni pour leur maître. Celui-ci, fort attristé, n’ayant d’autres ressources qu’une pension de 2,000 francs, ouvrit une école particulière rue Sainte-Avoye sous le titre un peu prétentieux de Muséum des Aveugles, et ne réussit qu’à faire des dettes, qui aggravèrent sa situation, déjà fort gênée. Il fut pris de découragement et quitta la France en compagnie d’un de ses élèves nommé Fournier, qu’il aimait beaucoup. A Berlin, il fonda une école qui prospéra, et, se dirigeant vers Saint-Pétersbourg, où il était appelé, il s’arrêta à Mittau pour rendre ses devoirs au comte de Provence. C’était le 7 septembre 1806 ; Fournier, qui ne quittait point son maître, après avoir exécuté différens exercices en présence de Monsieur, écrivit cette phrase doublement prophétique : « sera-ce donc sous le règne de Louis XVIII que l’établissement des aveugles travailleurs arrivera à sa perfection ? » Revenu en France après la seconde restauration, Valentin Haüy s’adressa au duc de Richelieu et lui demanda pour toute faveur d’être nommé instituteur honoraire des jeunes aveugles. Ce très modeste rêve ne paraît pas avoir été réalisé. Il vivait fort retiré chez son frère au Jardin des Plantes. On ne fit guère attention à lui ; sa modestie devient de l’humilité, et dans une lettre autographe datée du 18 février 1818 il écrit : « Je sais qu’on dit de moi : c’est un vieil imbécile qui n’est plus bon à rien. » Il végéta pendant quelques années, et mourut le 18 mars 1822, précédant son frère, qui le rejoignit le 3 juin suivant.
Louis XVIII, de retour en France, n’avait point oublié la scène de Mittau ; par ordonnance royale du 8 février 1815, il arracha les jeunes aveugles à l’hospice des Quinze-Vingts, leur créa une existence indépendante, et fit mettre à leur disposition, dans la rue Saint-Victor, l’ancien collège des Bons-Enfans, qu’on nommait aussi le séminaire Saint-Firmin. Là du moins ils étaient soustraits au contact périlleux des mendians, ils étaient chez eux, et pouvaient reprendre
