La durée des constructions avait été fixée à quatre années. Alors que d’une voix unanime toute l’armée votait cet immortel souvenir de son enthousiasme, pouvait-on supposer le plus léger obstacle, un retard même ?
Les versements de souscriptions eurent lieu d’abord régulièrement, mais une succession d’événements dispersa les corps d’armée souscripteurs, diminua le montant des retenues, multiplia les difficultés de réaliser les fonds dans la caisse de la commission directrice des travaux, de là vint que conduits lentement, interrompus souvent, ils se prolongèrent jusqu’en septembre 1811, c’est-à-dire pendant sept ans et demi, sans être terminés. D’un autre côté, tout occupé de ses guerres, Napoléon n’avait pas eu le temps de songer au présent de ses soldats ; de lui venir en aide par quelque riche dotation.
La Restauration le trouva donc à peine sorti de terre. Tous les matériaux étaient prêts : mais à les voir étendus sur le rivage qu’ils devaient dominer, au milieu de débris de toutes sortes, à voir l’immense échafaudage qui s’élevait à près de 180 pieds et avait déjà coûté la somme énorme de 230,000 fr., on aurait plutôt cru à un monument renversé qu’à un monument à construire. Le spectacle de ces ruines anticipées devait être douloureux pour tous les habitants du Pas-de-Calais, pour ceux de Boulogne en particulier. Si je puis citer mon témoignage, je rappellerai la douloureuse sensation que j’éprouvais étant enfant, en les parcourant avec
