Sur ces entrefaites, éclatait une fâcheuse affaire de mœurs où La Roche-sur-Yon était compromis avec le comte de Vermandois, le prince de Turenne, neveu du maréchal de Turenne, le brave et spirituel marquis de Créqui et quelques autres jeunes gens. La Roche-sur-Yon fut chassé de la cour vers la fin de mai, envoyé à Chantilly auprès de Monsieur le Prince.
Nous avons peu de détails sur le séjour de La Roche-sur-Yon à Chantilly. Le prince fut mal reçu par son oncle, et celui-ci, vers le milieu de juillet, l’éloigna « à cause du mauvais air. » La Roche-sur-Yon se rendit alors à l’abbaye de La Victoire, auprès de Senlis, ainsi nommée en souvenir de la bataille de Bouvines, et dont Bernard Lenet, frère de l’auteur des Mémoires, était commendataire.
Cet exil devait durer un peu plus de deux mois. Le 8 août 1682, une lettre de Louis XIV à Condé laissait espérer que la grâce était proche : « Pour ce qui est de mon cousin le prince de La Roche-sur-Yon, répondait le Roi, vous savez ce que je vous ai dit ; j’en ai parlé aussi avec mon cousin le duc d’Enghien, et, aussitôt que les choses seront au point qu’elles doivent être, personne n’aura plus de joie que moi de faire ce que vous désirez. » En effet, La Roche-sur-Yon revint à la cour au mois de septembre, et Louis XIV « lui fit seulement une réprimande dans son cabinet. »
Il faisait bon être pardonné, au moment où Louis XIV, installé pour toujours à Versailles, y recevait royalement les courtisans, ses hôtes : d’octobre à Pâques-fleuries, la comédie trois fois la semaine ; le samedi, le bal ; le lundi, le mercredi et le jeudi, l’appartement. Ce qu’on appelait l’appartement était la réunion de toute la cour « depuis sept heures du soir jusqu’à dix que le Roi se mettait à table, » dans le grand appartement qui s’étend en façade sur les jardins, du vestibule de la chapelle à la galerie des glaces, alors récemment achevée. Les salons, avec leur décoration d’or et de marbre, les fauteuils, les tabourets, les portières de velours vert ou couleur de feu garni de crépines et de galons d’or, qui y mettaient du confort et de la gaieté, les caisses d’orangers d’argent de la salle de billard, les statues d’argent de la salle des concerts, la balustrade et le grand lustre d’argent de la chambre du lit, le trône d’argent du
