Si Victor Hugo songeait à ce roman dès 1859, il n’en entreprend la rédaction que le 4 juin 1864, et la mène à bien en moins de six mois, le 29 avril 1865, compte tenu d’une interruption du 4 août au 4 décembre 1864.
Composé en trois parties, le roman est dédié "au rocher d’hospitalité et de liberté, à ce coin de vieille terre normande où vit le noble petit peuple de la mer, à l’île de Guernesey […]" ; Victor Hugo y exalte "l’effort de l’homme […] contre l’élément". Deux chapitres préliminaires, "L’archipel de la Manche" et "La mer et le vent" ne seront publiés, le premier qu’en 1883, le second, en 1911.

D’emblée, Les Travailleurs de la mer furent conçus comme un livre d’exception. Le papier, tout d’abord, fait l’objet d’un choix méticuleux : c’est un papier "inaltérable" que le romancier se procure. Les rames vendues par le papetier guernesiais vont servir à l’entière rédaction du roman, comme si l’espace avait déterminé la longueur du roman, puisqu’au verso de la dernière feuille, l’écrivain constate : "J’écris la dernière page de ce livre sur la dernière feuille du lot de papier Charles 1846 [sic pour C. Harris]. Ce papier aura commencé et fini avec le livre." Les pages intercalaires séparant livres et chapitres sont d’un bleu plus soutenu.
Après avoir confié le manuscrit à un relieur guernesiais, Turner, Victor Hugo y fait monter, ou monte lui-même trente-six de ses dessins. Ce ne sont pas des illustrations du roman, comme Pierre Georgel l'a montré, mais un choix effectué parmi des compositions qui ont précédé, accompagné ou même suivi la rédaction de l’œuvre, reflets de la création graphique du poète, à la fin de l’exil : marines, mais aussi un dessin de voyage et des caricatures.
   

Depuis les projets éditoriaux abandonnés de Jersey, Victor Hugo avait dessiné des frontispices ; mais l’idée d’enrichir le manuscrit de dessins était neuve, et peut-être, Philippe Burty y avait-il contribué. Quelques mois auparavant, le 17 janvier 1866, celui-ci avait, en effet, écrit au romancier :

"Vos dessins sont vraiment surprenants. Il semble que vous êtes aussi doué pour ceci que pour cela, et que si vous avez préféré ceci, c’est que cela était plus facile.
Le dessin en effet a un domaine délimité et la parole écrite peut tout exprimer et peindre. Mais j’en reviens encore, sinon à ma demande qui est exorbitamment indiscrète, au moins à mon désir de voir de vous une traduction dessinée de quelques-uns de vos livres. Vos vers peignent si fortement et vous êtes si habile la plume ou le pinceau à la main que les sujets seraient vite trouvés et formeraient la plus surprenante illustration qu’aucune école ait vue."

Aucune autre œuvre ne devait donner lieu à une "illustration" telle que celle-ci. L’été 1866, au moment où Victor Hugo commence la rédaction de L’Homme qui rit, il compose une série de dessins en relation avec le roman : songe-t-il alors à renouveler l’expérience ? Aucun de ces lavis, cependant, ne sera inséré dans le manuscrit. Un dessin fut néanmoins monté en 1868 dans le manuscrit des Chansons des rues et des bois, un autre dans le manuscrit du Roi s’amuse, en 1869, au moment de la reliure.