Après un passage par l'école normale d'instituteurs, il entre en 1930 à l'École normale supérieure de l'enseignement technique dont il sort en 1932. Il obtient l'agrégation de physique en 1935. Il est ensuite nommé professeur de physique au lycée de Bar-le-Duc puis au lycée de garçons de Toulouse en classe de mathématiques spéciales.
Pendant la Deuxième Guerre mondiale, il reste 5 ans prisonnier en Allemagne. À son retour de captivité, il reprend son métier d'enseignant au lycée à Toulouse et prépare un doctorat de physique. En 1949, il devient maître de conférences à la faculté des sciences de l'université de Toulouse.
Il travaille avec Gaston Dupouy et devient sous-directeur du laboratoire d'optique électronique, devenu par la suite le Centre d'élaboration de matériaux et d'études structurales. En 1962 il quitte ce laboratoire pour fonder le laboratoire de physique du solide de Toulouse sur le campus de la faculté des sciences de Rangueil. Il est à l'origine du département de physique de l'Institut national des sciences appliquées de Toulouse, au moment de l'ouverture de cet institut en 1963. Par la suite le laboratoire de physique du solide installe une partie de son personnel sur le site de l'INSA.
Il participe à la création en 1973 du Service National des Champs Magnétiques Pulsés (SNCMP) sur le site de l’Institut national des sciences appliquées, devenu partie toulousaine du Laboratoire National des Champs Magnétiques Intenses (LNCMI).
Il participe activement à la diffusion de la culture scientifique et crée en 1984 l'association Science Animation.
Charles Fert a eu deux enfants, Albert Fert (né en 1938), prix Nobel de physique 2007, et André Fert (né en 1939) qui sont tous les deux physiciens.
