En 1824, il rencontre Joseph Bonomi à Rome, qu'il embauche pour l'accompagner en Égypte. Ils y restent de jusqu'en 1828, puis, de 1829 à 1834, ils procèdent à l'enregistrement des monuments et inscriptions, en faisant un grand nombre de plans d'architecture. Ses manuscrits sont maintenant principalement à la British Library, et beaucoup de ses moulages en plâtres au British Museum.
En , Hay se rend à Malte, où il se marie à Kalitza Psaraki, la fille d'un magistrat crétois, qu'il avait sauvée du marché d'esclaves à Alexandrie. Comme beaucoup de ses compatriotes, Kalitza avait été capturée par les Turcs pendant la guerre d'indépendance grecque (1821-1829) et amenée en Égypte.