Mais il modifia son itinéraire, et, sur la pressante invitation du prince juif Abou Mansour Samuel ben Hanania, qui occupait une situation élevée à la cour du khalife d’Égypte, il se rendit au Caire.
Le Nil, sur lequel il voyageait, réveilla dans son esprit les souvenirs de l’histoire du peuple d’Israël, et il les rappela dans deux remarquables poèmes. Mais ces souvenirs mêmes ramenèrent sa pensée vers le vœu qu’il avait formé de se rendre le plus tôt possible dans la Terre Sainte. Aussi, malgré les instances d’Abou Mansour pour le retenir en Égypte, ne fit-il qu’un court séjour au Caire pour continuer ensuite son voyage.
À cette époque, la Palestine était gouvernée par des rois et des princes chrétiens, parents de Godefroy de Bouillon et descendants des premiers croisés. Sous la domination de ces petits souverains, les Juifs vivaient en complète sécurité ; ils avaient même acquis une certaine influence dans les diverses cours. On voit, en effet, un évêque du temps se plaindre que, sur l’instigation de leurs. femmes, les princes chrétiens préfèrent les médecins juifs, samaritains et sarrasins à leurs confrères chrétiens.
Juda Hallévi parait avoir pu réaliser son plus cher désir et entrer dans Jérusalem, mais il ne séjourna que peu de temps dans la ville sainte. Il y fut maltraité, selon toute apparence, par les chrétiens et en partit assez promptement. Les derniers événements de sa vie sont restés inconnus. On sait seulement qu’il alla à Tyr et y reçut un accueil respectueux. Dans un poème adressé à un de ses amis de Tyr, il montre un profond découragement, déplorant sa jeunesse perdue, ses espérances déçues, tous ses beaux rêves évanouis. Il séjourna également à Damas. C’est dans cette ville qu’il fit entendre son chant du cygne, cette admirable Sionide qui réveille notre amour pour Jérusalem avec la même force que les plus beaux psaumes d’Assaf.
On ignore la date de sa mort ainsi que le lieu de sa sépulture. Une légende raconte qu’il mourut, écrasé par un cavalier musulman, aux portes de Jérusalem, au moment où il chantait son émouvante Sionide. Un inconnu grava sur sa tombe cette inscription, si éloquente dans sa concision :
La Piété, la Douceur et la Générosité
Disent : nous avons disparu avec Juda.
