Montlosier n’était pas assez lettré pour comprendre la nature rêveuse et exquise de Joubert ; mais il avait retrouvé ses amies de l’émigration, Mme de Montalembert, Mme de Montregard. Il vivait péniblement, il avait successivement espéré d’être compris sur les listes d’éligibilité au sénat, puis sur celle des conseillers de l’université; aucune de ces espérances ne se réalisa. Il écrivait en 1805 à M. de Barante : « J’ai failli, non pas mourir, mais être mort. En venant chez moi, vous avez pu voir une porte à côté de la mienne; c’est là que demeurait Mme Hus la comédienne, qui tout à coup s’est mise à mourir. Ce n’est pas ma faute. Le lendemain, comme le portier qui bat mes habits avait laissé ma porte ouverte, les gens de la mort avec la bière et tous les apprêts n’ont pas douté que ce fût moi à qui ils avaient affaire. Je me suis heureusement réveillé à leur grand étonnement. Si j’avais eu le sommeil un peu plus profond, jugez pourtant ce qui serait arrivé. C’était la fin de mes peines. »
M. de Talleyrand le chargea sur ces entrefaites de la part de l’empereur, de composer un ouvrage sur l’ancienne monarchie. Quatre années de travail, de recherches, furent consacrées à ce livre, qui ne fut publié que sous la restauration. Montlosier ne l’interrompait que pour faire des courses géologiques, ou pour aller en Auvergne rétablir les débris de son patrimoine ou pour se rendre à Genève, où l’amitié l’attirait.
C’est dans une de ses visites au préfet du Léman que Montlosier le présenta à Mme de Staël. Ce qu’il y avait de délicat et de touchant dans sa nostalgie de Paris ne plaisait pas à Montlosier. Il ne comprenait pas qu’elle ne pût pas être heureuse avec une large aisance en présence du spectacle toujours nouveau de la nature la plus grandiose. Il ne sentait pas davantage ce qu’il y avait de supérieur dans cet hommage solennel rendu à la société française. Au milieu du cercle brillant où causaient Benjamin Constant, Sismondi, Mathieu de Montmorency et que dominaient encore la verve, l’éclat, l’enthousiasme de Corinne, Montlosier avait admiré l’esprit judicieux et contenu de son jeune ami, Prosper de Barante. Il savait écouter et il se préparait, en recueillant les opinions des hommes qui avaient le mieux connu le XVIIIe siècle, à écrire le Tableau de la littérature de cette glorieuse époque.
Montlosier garda toujours des relations avec Coppet. Dans une lettre du 20 janvier 1806, adressée au préfet du Léman, nous lisons : « Quand vous verrez Mme de Staël, dites-lui que je désirerais qu’elle m’aimât de tout son esprit, car elle en a beaucoup. C’est chez elle la partie dominante; ce n’est pas qu’elle n’ait un très bon cœur, mais c’est pour elle une espèce d’arrière-fief. mon Dieu, qu’ai-je dit? elle qui a en horreur le gouvernement féodal! Selon toutes les apparences, elle ne viendra plus de sitôt à Paris, je m’en consolerais
