Pentecôte, le duc et la duchesse faisaient leur entrée dans la ville de Loches.
« Il avait été élevé, par la faveur de Henry III, de très petit gentilhomme qu’il était, à une très grande fortune au delà de sa portée, mais il l’avait toujours maintenue par sa conduite et sa fierté durant le règne de trois rois, pendant lesquels il éprouva la bonne et la mauvaise fortune. Sur la fin de ses jours il trouva en tête le cardinal de Richelieu qui lui ôta tous ses établissements, et, ne pouvant souffrir l’humeur fière et altière avec laquelle il avait toujours vécu, l’humilia à un tel point qu’il le réduisit à venir demeurer à Loches, et à y vivre en homme privé, dépouillé de toutes charges et gouvernements, où il mourut accablé de déplaisir pour avoir vu mourir ses deux fils aînés, les ducs de Candale et cardinal de la Valette, et le troisième disgracié et réfugié en Angleterre. »
Pendant la Ligue, le duc d’Épernon resta toujours attaché au parti du roi, ce qui le fit détester de tous les zélés catholiques. On le représentait avec une figure de diable, dans un pamphlet imprimé à Paris, en 1589, sous ce titre : « La grande diablerie de Jean Valette, dit de Nogaret, par la grâce du roy duc d’Esparnon, grand amiral de France, et bourgeois d’Angoulême, sur son partement de la court, de nouveau mis en lumière par un des valets du garson du premier tournebroche de la cuisine du commun dudit seigneur d’Esparnon. »
Lors de sa première disgrâce, en 1589, il se retira au mois de juin dans son gouvernement de Loches, non pas, dit son secrétaire Girard, qui a écrit sa vie, avec le train d’un favori disgracié, mais triomphant, avec trois cents gentilshommes de marque, et vivant dans le plus grand faste.
Le 21 février 1619 il fit évader Marie de Médicis du
