En época carolingia fue un condado del que no se conocen condes. Como vizcondado fue creado hacia el año 918, siendo el primer vizconde Bernat I, que todavía estaba vivo en el año 932. Dejó un hijo, Gerard, que le sucedió, y murió pasado el 950. El hijo de Gerard, Bernat II, era vizconde todavía en 980 y fue el padre de Gilbert I, que vivía hacia el año 1000 y estaba casado con Agnès de Mets señora de Alpuech. Su hijo Gilbert II le sucedió hacia 1010 y se casó con Nobilia, hija de Odón, vizconde de Lodeva. Murió entre 1048 y 1060 y no dejó hijos varones recayendo la herencia en su hija Adela, que también heredó el vizcondado de Lodeva. Adela se casó con Berenguer II, vizconde de Gavaldá y de Millau. A la muerte de Adela la mitad del vizcondado pasó al hijo Gilbert y siguió el mismo camino que Millau y Gavaldà, pasando con estos territorios a la rama barcelonesa de Provenza.
La otra mitad (y el vizcondado de Lodeva) fue a parar a Ricardo, hermano de Gilbert, y después a su hijo Hugo I conde de Rodés (conocido como Hugo II) que cedió su mitad al conde de Barcelona y rey de Aragón Alfonso y este le devolvió las dos mitades en feudo (el vizcondado de Lodeva, que en 1196 será vendido al obispo de la ciudad, fue reconocido probablemente también como feudo de Alfonso).
El vizcondado de Carladés permaneció unido a la casa condal de Rodés y después a la familia Pons (1304) hasta 1369 en que fue ocupada por Arnau de Caupena, al servicio de Inglaterra. Antes de morir en 1384 Juan de Armanyac compró la salida de los ocupantes que se produjo en 1388 y el hijo Bernat VII de Armanyac se convirtió en vizconde y después su segundo hijo Bernat de Pardiac, casado con Leonor de Borbón, condesa de La Marca y Castres y duquesa de Nemours. Su hijo Jaime heredó el ducado de Nemours y se casó con Luisa de Anjou, prima del rey Luis XI. Jaime fue ejecutado en 1477 y el vizcondado fue dado a Jean Blosset, senescal de Normandía, que en 1489 lo vendió a Pedro de Borbón y a su esposa Ana de Beaujeu, hija de Luis XI, y entonces a su yerno el condestable de Borbón.
Con los Borbones, extinta la rama, entró en la corona francesa en 1527 aunque formalmente sólo en 1531. Margarita de Valois, hermana del rey Enrique III de Francia (y esposa de Enrique IV de Francia) recibió el feudo pero sólo estuvo de 1585 a 1586 (después, en 1599, el matrimonio con el rey Enrique IV se anuló, y murió en 1615, conservando formalmente el título que a su muerte sin descendientes devolvió a la corona francesa). En 1642, como resultado del Tratado de Péronne de 1641, el vizcondado fue erigido en condado y la corona le infeudó al príncipe de Mónaco Honorado II de la Dinastía Grimaldi, con el título de conde de Carladéso, y su familia lo poseyó de 1642 a 1789. En 1792 se produjo la incorporación a Francia en virtud de un tratado bilateral.
