Les quelques Canadiens qui représentaient l’autorité civile aux Îles, jaloux de l’immense influence que Monsieur Bélanger exerçait sur les insulaires, cherchèrent à lui provoquer des ennuis. Ses chantres d’église étaient ces Canadiens turbulents et prétentieux, il voulut s’en débarrasser. Dans l’hiver de 1848, il tint chez lui une école de plein chant, régulièrement deux fois par jour. Sept jeunes Acadiens suivirent ce cours avec entrain et assiduité. (Il en nourrit trois tout l’hiver.) À la fin, il avait la satisfaction de remplacer « les mauvais chantres canadiens » par un jeune chœur acadien dont le maître-chantre n’avait que 14 ans et le plus âgé 17. « Il y a maintenant de la graine de chant au milieu de mes pauvres Acadiens », disait-il avec fierté ; ces jeunes « sont meilleurs que les vieux, ils étonnent ; ils feront la classe à d’autres. » Et il ajoute : « Voilà un excellent moyen de passer agréablement et utilement l’hiver. »
En 1849, monsieur Bélanger obtint un remplaçant de Monseigneur McDonald et alla passer une partie de l’hiver à Rustico, sur l’Île-du-Prince-Édouard. Le 17 janvier, il arrivait à Caraquet où il se reposa quelques mois chez son ami, monsieur le grand-vicaire Pâquet. Puis, au printemps suivant, à l’ouverture de la navigation, il se rendit à Paspédiac où, de concert avec monsieur Hilaire Nadeau, il organisa une expédition sur la Côte-Nord et à la Baie Saint-Georges pour visiter les âmes abandonnées de ces parages lointains. En passant, il toucha aux Îles de la Madeleine, pour y faire ses adieux éternels. Il emmena son petit maître-chantre pour chanter des grand’messes. Notre saint apôtre ne devait plus, hélas ! revoir les Îles qu’il avait évangélisées avec un inlassable dévouement. Il mourut à la Baie Saint-Georges, le 7 septembre 1868 et fut inhumé à Saint-Roch-des-Aulnais, sa paroisse natale. Reconnaissance éternelle à ce vaillant ouvrier
