Dib nació en Tremecén en el oeste de Argelia, cerca de la frontera con Marruecos, en una familia de clase media que había caído en la pobreza. Después de la muerte de su padre, Dib empezó a escribir poesía a los 15 años. A los 18 años, empezó a trabajar como profesor cerca de Oujda (Marruecos). Posteriormente, trabajó como sastre, contador, intérprete (para los militares británicos y franceses) y periodista (para los periódicos Alger Républicain y Liberté). Durante este periodo también estudió Literatura en Universidad de Argel. En 1952, dos años antes de la revolución argelina, Dib se casó con una francesa, se unió al Partido Comunista Argelino y visitó Francia. En ese mismo año, publicó su primera novela La Grande Maison. Dib fue parte de la Generación del 52, un grupo de escritores argelinos que incluía a Albert Camus y a Mouloud Feraoun.
En 1959, fue expulsado de Argelia por las autoridades francesas debido a su apoyo a la independencia argelina. En lugar de mudarse a El Cairo como muchos nacionalistas argelinos, decidió irse a Francia. A partir de 1967, vivió en La Celle-Saint-Cloud.
Entre 1976 y 1977, Dib fue profesor en la Universidad de California en Los Ángeles. También fue profesor en Universidad de París. Durante sus últimos años viajó frecuentemente a Finlandia, en donde se ambientan varias de sus novelas. Dib murió en La Celle-Saint-Cloud el 2 de mayo de 2003.
Su primera novela, La Grande Maison, fue la primera parte de una trilogía sobre una familia argelina. El protagonista, Omar, es un adolescente pobre en Argelia justo antes de la Segunda Guerra Mundial. La segunda parte, titulada L'Incendie, fue publicada en el mismo año en el que inició la revolución argelina. Esta novela narra la vida de Omar después de la guerra. La última novela de la trilogía, Le Métier à tisser, publicada en 1957, describe la vida adulta de Omar. La trilogía fue escrita en un estilo naturalista
Sus novelas posteriores no incluyen tantos elementos naturalistas como sus primeros trabajos, sino que incluyen elementos surrealistas. Por ejemplo, escribió una novela de ciencia ficción titulada Qui se souvient de la mer (1962), mientras que su última novela, L.A. Trip, fue escrita en verso.
Entre 1985 y 1994, escribió cuatro novelas sobre un hombre africano que visita un país nórdico, en donde empieza una relación con una mujer y tiene un hijo con ella.
Dib también tradujo varios libros finlandeses al francés.
