Saurait-il se hausser aux résolutions vigoureuses que comportait une situation révolutionnaire ? Il commença par annoncer avec fracas au Moniteur qu’aucun des impôts en vigueur ne serait ni supprimé ni modifié. Le motif allégué fut que le Gouvernement provisoire considérait tout changement en cette matière comme une usurpation sur les droits de la future Assemblée nationale ; c’était du premier coup trancher l’espoir de toute réforme immédiate. C’était même proclamer l’impossible. Car les républicains, arrivant au pouvoir, avaient des engagements auxquels il n’eût été ni honnête ni prudent de se dérober. Goudchaux, ne songeant qu’à rassurer la classe bourgeoise, fit payer par anticipation la rente, sorte de bravade quelque peu puérile et dont reflet fut d’aviver les inquiétudes qu’on voulait apaiser. Mais le peuple. Il était urgent et séant de penser aussi à lui. C’est pourquoi, malgré la déclaration solennelle des jours précédents, le Gouvernement provisoire abolissait l’impôt du timbre, qui pesait sur la presse et empêchait les journaux à bon marché. Quelques jours plus tard, pensant aux paysans, il supprimait à partir du 1er Janvier 1849 l’impôt du sel, qui sous Louis-Philippe rendait 65 millions environ. Goudchaux, qui ne décolérait point, qui fulminait sans relâche contre les théories de Louis Blanc, n’attendit pas le dernier prétexte pour s’en aller. Il déclara que la situation était désespérée, qu’il refusait de présider à un naufrage inévitable. Il parlait de se faire sauter la cervelle, si l’on insistait pour le retenir. « M. Goudchaux avait perdu la tête », dit Odilon Barrot dans ses Mémoires. Bref il donna sa démission avec éclat, avec des paroles rudes et véhémentes (5 Mars). Il fallut lui trouver un successeur immédiat ; Garnier-Pagès qui avait été jusqu’alors maire de Paris consentit à tenter l’aventure.
Mais qu’allait-il faire ? Son début ne fut pas heureux. Il ajourna à partir d’une certaine somme le remboursement des dépôts faits aux Caisses d’épargne (Voir plus haut). Il est vrai que Garnier-Pagès prétendait ainsi frapper seulement les gros dépôts, appartenant, disait-il, à des familles aisées qui montraient une défiance injurieuse à l’État ; mais ce ne sont guère les gros capitalistes qui placent leurs réserves à la Caisse d’épargne ; en réalité c’étaient de petits commerçants, de petits patrons, de tout petits bourgeois qui se trouvaient atteints et cela contrastait péniblement avec la faveur qu’on faisait en même temps aux rentiers, en les payant par avance. Cela jetait un jour cru sur l’intérêt de classe qui dominait, peut-être à son insu, le ministre des finances, sur la façon dont il ménageait la bourgeoisie riche en ayant l’air de la maltraiter. Mais ce n’était pas assez de ne point vider la caisse ; il fallait la remplir. Un emprunt de 350 millions en rentes 3 0/0 avait été voté en 1847. Rothschild en avait soumissionné pour sa part 250 millions au prix de 72 fr. 48. Sur ce total 85 millions environ avaient été versés par lui avant le 24 Février. Le soumissionnaire devait, le 7 de chacun des mois suivants, verser 10 millions. Mais il déclara qu’il ne pouvait, pour raison de force majeure,
