Les Vosges, les montagnes, sinon les plus belles, du moins les plus agréablement arrondies et les mieux boisées qu’il y ait en France, forment, à l’ouest de la grande plaine du Rhin, le pendant exact de la Forêt-Noire, à l’est de cette même plaine. Ces deux chaînes sont tellement semblables par leur aspect, par leur nature géologique, qu’on peut les considérer comme les contre-forts extérieurs d’une chaîne aujourd’hui disparue, qui, après avoir rempli toute la largeur de la vallée rhénane, se serait d’abord effondrée dans le sens de la longueur et que les érosions du fleuve auraient plus tard détruite presque entièrement, en laissant comme témoins les deux chaînes parallèles de l’Alsace et de Bade.
Les Vosges doivent leurs formes rondes à la nature de leurs roches, grès, schistes, granits, qui ne se laissent pas tailler à l’emporte-pièce, qui ne s’effondrent pas par larges pans réguliers comme des craies ou des calcaires. Elles n’ont point de pics, mais elles se terminent par des espèces de dômes qui portent le nom de « ballons » et par des plateaux, généralement de peu d’étendue, qui s’appellent « hautes chaumes. » Leurs pentes sont ou gazonnées ou boisées.
C’est dans les Vosges que se dresse, à l’extrémité septentrionale du Territoire, le point culminant du département, le Ballon d’Alsace (1,257 mètres) ; le point le plus bas est le confluent de la rivière de Saint-Nicolas ou Bourbeuse avec l’Allaine (330 mètres), soit une différence de niveau de plus de 900 mètres. La ligne d’altitude la plus basse suit la rivière de Saint-Nicolas et le canal du Rhône au Rhin, qui traversent le Territoire dans la direction du nord-est au sud-ouest. Le sommet du Ballon d’Alsace offre une vue admirable. À l’est, à la limite des chaumes, on aperçoit, en Alsace, les hauteurs qui dominent le vallon des Charbonniers à son extrémité supérieure. Au sud-est, on a à ses pieds la belle et verte vallée de Massevaux, semée de villages, arrosée d’eaux vives dont le lac de Sewen marque l’origine, et dans le fond, la dominant à gauche, la hauteur du Rossberg. Au delà de ce riant paysage, en se portant vers le sud, le regard découvre au loin Belfort.