Après avoir réalisé ses biens et rompu ses attaches, le narrateur s'est retiré au bordel. Ce lieu est «monumental, profond, complexe». Plein de fleurs, d'œuvres d'art. C'est aussi un dédale dont la décoration, la disposition des pièces sont renouvelées sans cesse, de sorte qu'il est impossible de s'y reconnaître.
La directrice, Madame Mauve, est très grosse et très belle. Elle aussi, par ses récits, favorise l'imagination, le rêve. Il y a beaucoup de serviteurs, des filles que l'ou ne rencontre que sur rendez-vous. On entend parfois des chants, des chœurs, qui évoquent de lointaines liturgies, inexplicables en cet endroit.
Le narrateur remarque un jour un tableau - une femme d'autrefois - qui l'émeut. Puis le tableau disparaît. Il croise une aveugle qu'il s'imagine avoir connue. Il suppliera en vain Madame Mauve de lui faire rencontrer cette jeune femme, Lucy. Et, dans la bibliothèque, il écoutera avec avidité les récits d'un vieil homme. Hannibale, qui est peut-être le père de Lucy.
Les récits du vieil homme, comme ceux de Madame Mauve, procèdent de la «vie intérieure» et observent la règle implicite du bordel, que le narrateur transgresse en voulant les vérifier. Un excès d'humeur inquiète lui fera quitter ce lieu hors duquel il n'y a pas pour lui d'autre existence.
