En novembre 1784, le gouverneur Haldimand laissait le Canada pour n’y plus revenir. Sa villa de la chute Montmorency semble avoir été inoccupée ensuite pendant six ou sept ans.
C’est peu après son arrivée à Québec, en 1791, que le duc de Kent loua la villa de Haldimand. Le père de la reine Victoria était l’ami intime de l’honorable M. de Salaberry, père du héros de Châteauguay. La famille de Salaberry habitait alors Beauport, à deux milles à peine de la chute Montmorency. Le duc de Kent dut louer la villa de Haldimand pour se rapprocher de la famille de Salaberry qu’il visitait presque chaque jour.
Le 25 juillet 1797, Ralph-Ross Lewin, capitaine au 24ème régiment de ligne puis major de Québec, achetait la maison Haldimand, devenue la propriété d’un neveu de l’ancien gouverneur, Anthony-Francis Haldimand, pour la somme de 600 louis. Sir Frederick Haldimand était décédé à Londres en juin 1791 et avait laissé tous ses biens à son neveu.
Lewin ne garda pas son acquisition longtemps. Moins de quatre ans plus tard, le 3 mars 1801, il vendait sa propriété à MM. Mathew Lymburner et Crawford, négociants, de Québec.
Ceux-ci, à cause de difficultés financières temporaires, n’ayant pas pu payer leur achat en entier, la propriété Haldimand fut vendue par le shérif le 29 octobre 1804 et adjugée à Patrick Langan par titre du 22 mars 1805.
L’honorable Antoine Juchereau Duchesnay, seigneur de Beauport, fit alors valoir le droit de retrait que lui accordait la loi seigneuriale, et Patrick Langan dut lui remettre son acquisition.
Le 20 septembre 1805, le seigneur Duchesnay faisait une nouvelle concession de toute l’ancienne propriété Haldimand à sir John Johnson, baronnet, de Montréal.
Après sir John Johnson, M. Peter Paterson devint propriétaire de la maison Haldimand et de ses dépendances. On sait que M. Paterson établit avec le pouvoir de la chute Montmorency un moulin à scie considérable qui employait bon nombre d’artisans. Il construisit des quais et des estacades qui existent encore mais s’en vont en ruine.
