Il se maria deux fois, la première avec Gabrielle de Toulongeon, dont il eut trois filles et qu’il perdit très jeune, la seconde fois avec Louise de Rouville. Marié ou veuf, quand il était à Paris, il fréquentait fort la société des libertins et participait à leurs débauches. C’est ainsi qu’il y eut une certaine « nuit de Roissy » où l’on chanta, avec le refrain d’alléluia, des couplets infâmes, irréligieux et, qui pis est, antiroyalistes.
Avec cela, par ses épigrammes, par ses chansons, par ses bons mots, Bussy s’était aliéné tous ses chefs. Condé, qui l’accusait de l’avoir trahi pendant la Fronde, avait contre lui une haine enragée ; Turenne, qui avait été l’objet, dit-on, de quelques épigrammes de lui, ne l’aimait point et déclarait au Roi que c’était « le meilleur officier des armées françaises pour les chansons. » Bussy arrivait à la quarantaine avec un passé assez lourd et une réputation, non point très mauvaise, mais du moins très mêlée. C’est alors que deux incidens très différens, relativement graves sans être terribles, firent gouttes d’eau et précipitèrent le brillant Bussy dans l’infortune. Pressé d’argent (il l’était toujours), il s’avisa de vendre sous main à Foucquet, pour un parent de celui-ci, au prix de 90 000 écus, sa charge de mestre de camp. Mazarin eut veut de cette négociation très irrégulière et, sans éclater, garda, bientôt avec preuves, cette arme contre Bussy. Ajoutons que, dans cette affaire, Foucquet paraît avoir trompé Bussy et ne lui avoir, avant sa chute, payé qu’une minime partie de la somme convenue.
D’autre part, plus tard, en 1663, Bussy, pour se récréer dans un temps de loisirs et d’ennuis, écrit la fameuse Histoire amoureuse des Gaules, qui, telle qu’il l’écrivit, n’avait rien de sacrilège, ni de séditieux ; mais attendons la fin.
Cette histoire, il la récite dans le monde et il finit, imprudence qui est bien de lui, par la laisser pour vingt-quatre heures entre les mains d’une dame, Mme de La Baume. Le lendemain elle était copiée, le surlendemain vingt copies en circulaient dans Paris. Le Roi la lit. Qu’attendez-vous ? Que Bussy soit mis pour la seconde fois à la Bastille ? Point du tout. Il est nommé de l’Académie française et le Roi ratifie sa nomination. Que pensez-vous ? Que l’orage est calmé ? Nullement. Tout manuscrit qui circule sous le manteau est toujours sûr d’être imprimé. L’Histoire amoureuse des Gaules revient de Hollande imprimée. Mais elle a changé sur la route. Il y a maintenant des choses
