Durante un viaje por el sur de España, el narrador (un arqueólogo francés) conoce a don José Lizarrabengoa (un exmilitar de origen navarro, de Elizondo, en Baztán). Don José le cuenta una historia terrible: sus amores con Carmen (de Triana), una gitana sensual que se cruzó en su camino, lo apartó del Ejército y lo arrastró hacia el delito, convirtiéndolo en un bandido. Don José, ciego de amor por Carmen, toleró que estuviera casada con un bandolero llamado «El Tuerto», a cuya banda don José se unió y con el que colaboró en emboscadas y crímenes hasta que por celos lo desafió y mató en una pelea de cuchillos.
Posteriormente Carmen se unió a un torero llamado Lucas. Don José no pudo soportar el desdén de Carmen y la acuchilló y enterró. Tiempo después, presa del remordimiento, don José se entrega y es condenado a muerte.
La novela está dividida en tres partes, en la primera el arqueólogo cuenta cómo conoció a don José. En la segunda, don José relata sus experiencias y en la tercera el narrador hace un ensayo sobre la cultura y el lenguaje de los gitanos. A diferencia de la ópera, aquí no se menciona nada sobre Micaela o la familia de don José y el papel del torero Lucas no es tan importante como el de Escamillo en la ópera Carmen.
