Le paysage est aussi une construction culturelle reposant sur des connaissances livresques. Chez Chateaubriand, les références se substituent même à la description quand il raconte son voyage en Orient : "Je n'entrerai point dans la description particulière de chaque monument, je renvoie aux ouvrages que j'ai souvent cités." Devenu un guide à son tour, le récit du pèlerinage de Chateaubriand dispense de description ; "Impossible d'en parler après lui : il a tout moissonné sur la terre de Chanaan", déclare Forbin dans le Voyage dans le Levant (1819). De même, avant de parcourir les campagnes russes en 1989, le poète-paysan Jean-Loup Trassard évoque une nature littéraire, "le fond du jardin touffu où l'on va cueillir des framboises dans les pièces de Tourgueniev [...], la poussière et la boue des ornières où roule une voiture à chevaux dans Les Âmes mortes de Gogol" (Campagnes de Russie). C'est que le monde se lit comme un livre.

La métaphore du "livre du monde" ne signifie plus, chez les voyageurs modernes, que la nature est un texte écrit par Dieu, dont il faut retrouver le sens ; elle met surtout en valeur le rôle prépondérant de la lecture. On voyage parce qu'on a lu, mais aussi pour lire. Si Cendrars erre de bibliothèque en bibliothèque, Gide transporte la sienne au Congo pour écrire. De l'analogie entre lecture, voyage et écriture naît toute une esthétique de la variation. À l'aube du XIX^e siècle, les écrivains renoncent à ajouter un savoir à des connaissances déjà pléthoriques. Si la répétition s'enlise vite dans les poncifs, la diversité des points de vue offre aux écrivains la liberté de dire indéfiniment le monde, puisque l'enjeu réside dans le regard personnel et non plus dans le savoir encyclopédique. Qu'importe si le monde est déjà connu puisque chaque regard est singulier ! C'est pourquoi les écrivains n'hésitent pas à s'essayer au genre en parcourant les mêmes lieux, en Grèce, en Égypte, à Jérusalem... Chaque écrivain-voyageur s'insère dans une généalogie tout en s'en démarquant. C'est donc au moment où le récit de voyage ne peut plus prétendre révéler le monde qu'il entre en littérature. Ce perpétuel dialogue avec les prédécesseurs, fait de corrections, de dénégations, de glissements et de décalages, constitue une des dynamiques du genre. L'aventure se vit désormais dans l'écriture et non plus dans le parcours du monde.

L'Ailleurs, nimbé de légendes, ne tient pas toujours ses promesses. Michel Leiris, parti en quête d'une Afrique rêvée, marche sur les traces de Rimbaud et de Roussel ; il veut "de la terre rouge, de la végétation, des sauvages nus comme dans les livres d'images", mais, tout au long de son journal, L'Afrique fantôme (1934), il ne cesse de dire son désappointement devant la réalité et abandonne vite les descriptions. La culture devient un obstacle en Abyssinie, où la figure de Rimbaud obscurcit l'horizon : "La haute silhouette famélique qui m'a toujours hanté se dresse entre le soleil et moi."

suite : voyageur-écrivain, écrivain-voyageur