Au cinquantième siècle, la Terre n'est plus peuplée que d'une cinquantaine de millions de personnes et n'est plus constituée que de cinq villes, qui sont la reconstitution de célèbres villes anciennes dont les aspects sauvages et guerriers ont été supprimés. Des humains temporaires y habitent et tiennent le rôle des anciens habitants. Au fil du temps, elles sont périodiquement déconstruites et remplacées par d'autres. Au début du roman, ces villes sont Alexandrie, Asgard, New Chicago, Tombouctou et Xi'an. Elles sont peuplés par des citoyens dont l'existence n'est faite que de loisir et tourisme, vivant et voyageant sans cesse dans ces villes.
Charles Phillips n'est ni un temporaire, ni un citoyen ; il est un visiteur, venu du passé et amené là par des moyens et des personnes qui lui sont inconnus. Il est issu du New York de 1984 mais autant il possède des souvenirs de sa ville et de son époque, autant il n'a aucun souvenir personnel en dehors de son nom : il ne peut se rappeler ni sa famille, ni son métier, ni son passé. Il est amoureux de Gioia, une citoyenne dont il découvre bientôt qu'elle diffère de ses semblables par une caractéristique des plus étonnantes : elle vieillit ! Peu après cette découverte, Gioia s'éclipse et se fait remplacée auprès de Charle par Bélilala, une autre citoyenne.
Charles se rend dans la ville de Mohenjo-daro qui vient de remplacer Asgard, dans l'espoir y retrouver Gioia. Elle en est déjà repartie mais Charles y fait la connaissance d'un autre visiteur, Francis Willoughby, originaire de l'Angleterre de 1591. Après avoir vainement essayé de convaincre ce dernier qu'il a voyagé dans le temps en plus d'avoir voyagé dans l'espace, Chales se rend dans la ville de New Chicago. Il ne trouve toujours pas Gioia mais rencontre un troisième visiteur, Y'ang-Yeovil, cette fois issu de son propre futur. Ce dernier lui dévoile que les visiteurs ne vieillissent pas, tout comme les citoyens. Il lui explique ensuite que les visiteurs sont des êtres créés par ceux qui ont créé les villes et les temporaires mais, à l'inverse des temporaires, les visiteurs sont conscients d'eux-mêmes, raisonnent et éprouvent des sentiments.
Plus tard, Charles parvient à trouver Gioia, visiblement plus âgée, dans la ville d'Alexandrie. Tous les deux sont conscients qu'elle vieillit et qu'à l'inverse lui ne vieillit pas. Charles demande alors à Gioia de l'accompagner à la recherche des personnes qui supervisent la Terre, créant les villes, les temporaires et les visiteurs, afin que l'esprit de Gioia puisse être placé dans un corps de visiteur immortel. Elle accepte sa proposition et ils partent tous deux en bateau vers la ville nouvellement créée de Byzance, à la recherche des superviseurs.