Une première fois en 1814, il a eu Talleyrand pour ministre ; en 1815, il a dû le subir de nouveau. Délivré de lui, il n’a pu oublier ses allures impertinentes, dont si souvent, et surtout au retour de Gand, il a été offensé. Il s’est promis de ne plus s’exposer à retomber sous ce joug. Et voilà que, de nouveau, il le sent peser sur lui. Sous l’influence de ses craintes, sa correspondance avec Decazes, le lendemain, devient pathétique. A neuf heures trois quarts du matin, — il a soin de mettre l’heure à côté de la date, — il lui fait porter ce billet :
« Ma nuit, mon cher fils, a été ce que j’appelle excellente. Mais que ton bon cœur ne s’en réjouisse pas trop. Ce mieux physique a rendu son ressort au moral. Je voyais mon malheur, hier ; aujourd’hui, je le sens. O vous, mes filles, âmes pieuses dont les prières sont agréables à Dieu, demandez-lui qu’il daigne être lui-même mon Samaritain. Sa main seule peut panser une plaie comme la mienne. Je vous embrasse tous de tout mon cœur qui ne cessera jamais de vous aimer. »
Cette missive éplorée est à peine partie qu’il en reçoit une de Richelieu. Richelieu supplie le Roi de le délivrer. Cependant, si le Roi persiste à le retenir, il cédera. Mais alors, il posera des conditions. Il ne peut rester que si Lainé consent à rester avec lui et que si le Roi consent à éloigner Decazes.
« Pour que mes services ne soient pas inutiles, il faut rétablir dans le ministère une unité d’opinions qui n’existe plus. Votre Majesté sait si j’aime et estime M. Decazes ; ces sentimens sont et seront toujours les mêmes. Mais, d’une part, outragé sans raison par un parti dont les imprudences ont causé tant de maux, il lui est impossible de se rapprocher de lui ; de l’autre, poussé vers un côté dont les doctrines nous menacent encore davantage, tant qu’il ne sera pas fixé hors de France par des fonctions éminentes, tous les hommes opposés au ministère le considéreront comme le but de leurs espérances et il deviendra, bien malgré lui sans doute, un obstacle à la marche du gouvernement. » Il faut donc que Decazes parte. L’ambassade de Naples ou de Saint-Pétersbourg et un départ annoncé et exécuté dans une semaine, « tels sont les préambules indispensables à la marche de l’administration ».
Tout dans cette lettre est pour accroître la douleur du Roi. Il voit clairement que c’est vers l’extrême droite qu’on veut l’entraîner.
