Le testament du bon chanoine renferme quelques articles fondamentaux du futur règlement de la Providence ; tous respirent l’amour du pauvre et le désir de porter les jeunes gens au bien en les rendant heureux. Il demande, comme tribut de reconnaissance, trois Pater et trois Ave à la suite de la prière du matin et du soir ; il désire que les élèves assistent au service anniversaire de son décès, et prient pour lui en leur particulier ; parce qu’il a grande confiance en la prière du pauvre.
Un renseignement historique peu connu est fourni par ce testament. On sait que, pendant la Révolution, l’église de Fourvière fut désaffectée, vendue comme bien national, enfin rachetée plus tard par la fabrique de Saint-Jean. Le chanoine Caille ne fut pas étranger aux négociations qui aboutirent au rachat de Fourvière. Pie VII, lorsqu’il vint faire l’ouverture du célèbre sanctuaire, avait été mis au courant de cette situation par le cardinal Fesch, et il tint à féliciter hautement l’intelligent chanoine en lui disant : « Vous vous êtes fait une grande protection ». Il est juste de rendre à chacun ce qui lui revient, et ce ne sera pas une des moindres parties de la dette de reconnaissance contractée par le clergé du diocèse envers Joseph Caille.
Outre la fondation de la Providence, il favorise dans son testament ce qu’on nomme le cimetière des prêtres à Loyasse : il accorde aux bienfaiteurs de son établissement le droit d’être inhumés dans la petite enceinte qui a pour centre une pyramide : ce monument, il l’a fait élever à la mémoire de son frère Antoine Caille, le vrai donateur du cimetière des prêtres.
Le conseil d’administration de la Providence Caille, qui recrute lui-même ses membres, est composé de plusieurs curés de Lyon et de quelques dévoués laïques. Afin de réaliser pleinement les intentions du fondateur, et de confier les enfants à des mains habiles et à des éducateurs dévoués, on s’adressa à la maison-mère des frères Maristes de Saint-Genis-Laval qui envoya, dans cette maison, plusieurs de ses meilleurs sujets.
Il est utile d’ouvrir ici une longue parenthèse, pour raconter en détail la vie du fondateur de cet Institut et rappeler l’extension de sa congrégation, devenue, par la suite, une des gloires du diocèse.
La mémoire du père Marcellin Champagnat est restée populaire dans la province lyonnaise. La vie féconde de ce simple et robuste apôtre n’a rien pour attirer la curiosité de certains psychologues qui ne s’intéressent qu’aux néants de la mélancolie, de
