La vivacité des opinions libérales ne fut pas moins hostile à M. Pasquier, sous la restauration, que l’ardeur des sentimens royalistes. La puissance morale de la gauche, à cette époque, était immense : elle portait à la tribune l’accent des passions qui faisaient battre le cœur du pays, le regret de la gloire et l’amour de la liberté. L’éclat de ses notabilités et de ses talens donnait à sa popularité un nouveau lustre. À côté du général Foy, qui montrait à la France ce qu’elle aime tant, l’éloquence dans la bouche d’un soldat, se faisait remarquer le plus spirituel des tribuns, le plus agréablement sceptique des hommes de parti, Benjamin Constant, qu’appuyait de sa haute autorité le doyen de la révolution, M. de Lafayette. N’oublions pas Manuel, improvisateur toujours prêt à porter dans toutes les questions une clarté courageuse. Ce qui assurait encore à la gauche une nouvelle force comme opposition, c’est qu’elle ne pouvait prévoir, ni personne pour elle, le moment où elle serait appelée à appliquer ses théories et ses doctrines. Aussi rien ne la gênait dans l’énonciation de ses principes ; elle allait toujours à ce qu’il y avait de plus général et de plus absolu. Avec quel mépris, avec quelle colère elle repoussait toutes les considérations tirées des nécessités du gouvernement et du maintien de l’ordre ! Quand on lui parlait des besoins du pouvoir, elle répondait par des cris d’alarme sur les dangers de la liberté, intraitable, inflexible, parce qu’elle se voyait populaire et applaudie.
On ne s’étonnera pas qu’avec de pareilles dispositions d’esprit, les chefs de la gauche fissent à M. Pasquier une guerre incessante : ils ne lui savaient aucun gré de ce que sa conduite et son langage avaient de modéré ; on eût dit au contraire qu’ils étaient fâchés de voir aux affaires un homme dont l’expérience, acquise à une grande école, pouvait être utile au gouvernement de la restauration. La presse libérale avait surnommé M. Pasquier l’inévitable. Il y eut d’ailleurs une époque où la position de M. Pasquier semblait appeler sur lui tous les coups. Quand, après la mort du duc de Berri, la restauration demanda aux chambres le rétablissement de la censure et des mesures suspensives de la liberté individuelle, M. Pasquier porta seul tout le poids de la discussion dans les chambres. Le président du conseil, M. le duc de Richelieu, avait l’habitude de rester étranger aux débats de politique intérieure ; le plus brillant orateur du cabinet, M. de Serres, alors garde-des-sceaux, cherchait à ranimer sous le soleil de Nice les derniers restes d’une vigueur noblement épuisée au service d’une cause qui n’eut pour lui qu’ingratitude et oubli. En 1822, les royalistes firent échouer la réélection de M. de Serres
