« C’est une pitié de voir ce qu’on nomme draps, serviettes, nappes et autres ustancils. » Loin de prendre fin, comme l’espérait Poërson, cette gêne ne fit qu’empirer. Sans argent, presque sans élèves, contraint de quitter la résidence habituelle de l’Académie oïl il n’était plus en sûreté, forcé de « louer des lits aux Juifs » pour ses derniers pensionnaires et pour lui-même, isolé au milieu d’une population hostile, Poërson, tout autour de lui, ne cessait de voir se déchaîner contre le Roi, dont il avait le culte, des haines furieuses auxquelles la défaite des armées françaises enlevait toute retenue.
« On n’oserait, écrit-il en juin 1706, après la levée du siège de Barcelone, quasi se montrer. Les Allemands, les Anglais et presque tous les Italiens en témoignent une joie insultante à laquelle on ne peut résister. » Cette animosité s’accentue encore après la déroute « de l’armée commandée par M. de Villeroy, avec tout le canon, le bagage, les villes de Louvain et de Bruxelles, et la descouverte que l’on a faite des intelligences que M. de Bavière avait avec les ennemis. » À ce moment, Poërson est désespéré : « Pardonnez-moi, écrit-il au surintendant, le grand nombre de lettres dont je vous importune ; mais c’est une triste situation que d’estre à quatre cents lieues de chez soy, sans argent et sans nouvelles des personnes que l’on honore et que l’on chérit le plus. » L’Académie et son directeur ne vivent plus que d’expédiens et d’emprunts singulièrement difficiles « parmi des gens qui nous haïssaient et qui se réjouissaient de nos malheurs. » Poërson ne sait plus à quel saint se vouer pour se tirer d’intrigue. « A tout instant, nous apprend-il effrayé, l’on parlait de l’entrée de l’armée allemande et la canaille n’attendait que ce moment pour saccager Rome. » Dégoûté, harassé de préoccupations et d’angoisses, l’infortuné directeur se résolut alors à prendre un parti extrême. Lui, le défenseur attitré de l’école de Rome, l’un de ses premiers élèves, il écrit au surintendant Mansart une lettre dans laquelle il réclame la suppression de l’Académie. Il y donne contre son maintien de prétendus argumens, depuis lors souvent réédités, qu’on pourrait, sous une forme à peine rajeunie, trouver reproduits dans nombre d’articles de journaux, et même dans quelques documens parlementaires. Poërson, dans cette lettre, déclare sans détour que Sa Majesté pourrait s’épargner la dépense d’une Académie qui ne peut répondre à l’idée que l’on avait eue « de former d’habiles gens
