Le narrateur, Henry Miller (surnommé Val), vit avec sa femme Mona dans un logement délabré à Brooklyn. Stasia, amie intime de Mona, récemment sortie d'un établissement psychiatrique vit avec eux. Henry a démissionné de son emploi de chef de personnel dans une compagnie des télégraphes pour se consacrer entièrement à l'écriture. Cependant, il n'arrive pas à mettre sur papier ce qu'il rédige dans sa tête. Il erre dans les rues et rencontre de nombreux personnages avec qui il a de longues conversations sur la littérature, l'art, la métaphysique. Pendant ce temps, Mona, actrice, et Stasia, artiste, trouvent assez mystérieusement de quoi les faire vivre. Leur rêve c'est de partir à Paris pour visiter une Europe idéalisée.
Miller décide de retravailler afin de payer le voyage en Europe. Un ami lui procure un emploi de bureau dans l'administration des parcs et jardins. Un soir, en rentrant à son domicile, il découvre que Mona et Stasia sont parties à Paris. Il se retrouve donc seul et retourne vivre chez ses parents, retrouvant les personnes et les lieux de son enfance. Mona lui donne épisodiquement quelques nouvelles de Stasia et d'elle-même. Après une période sans nouvelle, il reçoit un télégramme de Mona lui demandant de l'attendre au port quelques jours plus tard car elle s’apprêtait à embarquer.
Le couple s'installe dans un appartement que Mona a trouvé dans un quartier élégant. Elle incite Henry à quitter son emploi pour qu'il puisse se remettre à la rédaction de son roman. Mona a montré quelques pages du roman, en se faisant passer pour l'auteur, à son ami Pop qui lui promet de le faire éditer. Elle pousse alors Henry à écrire la suite. En prenant l'air dans le quartier il fait la connaissance d'un commerçant juif, Sid Essen (Reb) avec qui il sympathise. Un ancien ami, MacGregor, qui a réussi à le retrouver, le harcèle afin qu'il l'aide à séduire une femme qu'il a rencontrée.
Son livre terminé, Henry peut s'embarquer avec Mona pour rejoindre l'Europe des écrivains, artistes, cathédrales… et quitter définitivement le monde matérialiste et raciste qu'est l’Amérique.
