L’année 1800 lui amena un de ces cavaliers au complet pour ami. M. de Châteaubriand arriva d’Angleterre ; il y avait d’avance connu M. Joubert par les récits passionnés de Fontanes ; une grande liaison commença. Les illustres Mémoires ont déjà fixé en traits d’immortelle jeunesse cette petite et admirable société d’alors, soit au château de Savigny, soit dans la rue Neuve-du-Luxembourg, Fontanes, M. Joubert, M. de Bonald, M. Molé, cette brillante et courte union d’un moment à l’entrée du siècle, avant les systèmes produits, les renommées engagées, les emplois publics, tout ce qui sépare ; cette conversation d’élite, les soirs, autour de Mme de Beaumont, de Mme de Vintimille : « Hélas ! se disait-on quelquefois en sortant ; ces femmes-là sont les dernières ; elles emporteront leur secret. »
M. Joubert n’eut d’autres fonctions que dans l’instruction publique, inspecteur, puis conseiller de l’université par l’amitié de M. de Fontanes. Il continua de lire, de rêver, de causer, de marcher, bâton en main, aimant mieux dans tous les temps faire dix lieues qu’écrire dix lignes ; de promener et d’ajourner l’œuvre, étant de ceux qui sèment, et qui ne bâtissent ni ne fondent : « Quand je luis, je me consomme. » — « J’avais besoin de l’âge pour apprendre ce que je voulais savoir, et j’aurais besoin de la jeunesse pour bien dire ce que je sais. » Au milieu de ses plaintes, sa jeunesse d’imagination rayonnait toujours sur de longues perspectives :
De la paix et de l’espérance
Il a toujours les yeux sereins,
« Dieu a égard aux siècles. Il pardonne aux uns leurs grossièretés, aux autres leurs raffinemens. Mal connu par ceux-là, méconnu par ceux-ci, il met à notre décharge, dans ses balances équitables, les superstitions et les incrédulités des époques où nous vivons.