Jeanne-Madeleine-Béatrix d'Ambly est morte à Gressoux le 13 juin 1806, épuisée peut-être par le si long allaitement de son fils.
Étienne Roussel, qui faisait si habilement les affaires de sa femme et de son fils, réussit moins bien à faire les siennes. Aussi dès que ce fils fut devenu majeur, il actionna son père pour lui faire rendre un compte de tutelle. Celui-ci en présenta d'abord un d'après lequel il se trouvait créancier de 4,000 fr ; mais cet honnête homme fut peu après obligé d'en présenter un autre dans lequel il se reconnaissait débiteur de 83,000 fr. Ceci était encore loin de faire le compte, et son fils obtint le 2 mars 1825, un jugement définitif qui déclarait Étienne Roussel débiteur de 275,000 fr.
Quelques personnes pensèrent alors qu'il y avait eu concert entre le père et le fils pour arranger ainsi les choses dans le but de frustrer les créanciers du père, qui aurait été indemnisé par celui pour lequel il travaillait si honorablement. Quoi qu'il en soit, si le sieur Roussel avait oublié l'axiome : « Bon sang ne peut mentir, » on se chargea de le lui rappeler. Après avoir été poursuivi avec la dernière rigueur, et lorsqu'il ne lui resta plus rien, il fut obligé de plaider pour se faire allouer une modique pension alimentaire que son tendre et généreux fils lui refusait.
Il se réfugia à Paris, où il mourut le 6 avril 1826, ne laissant que des dettes ; aussi son fils s'empressa-t-il de renoncer à sa succession, contre laquelle il avait une créance de 300,000 fr. par suite du compte de tutelle.
