Le comte Charles Ginoux-Defermon fait partie d'une famille de notables, plusieurs de ses ancêtres siégèrent au Parlement de Bretagne. Son arrière grand-père Jacques Defermon est ministre de Napoléon Ier[2] et son oncle César-Auguste Ginoux-Defermon est député de la Loire-Inférieure. Il est le fils de l’avocat Georges Ginoux-Defermon, conseiller général de la Loire-Inférieure, maire de Moisdon-la-Rivière et camérier secret de Léon XIII, et d'Alice de Mannoury de Croisilles. Sa sœur Anna, Fille de la charité de Saint Vincent de Paul, est victime de l'incendie du Bazar de la Charité.
Maire de Moisdon-la-Rivière et conseiller général de la Loire-Inférieure élu pour le canton de Moisdon-la-Rivière, il devient député de la Loire-Inférieure en 1901, succédant lors d'une élection partielle à son oncle, Fernand du Breil de Pontbriand, élu sénateur[2].
S'il n'a eu à faire face à aucun adversaire lors de l'élection de 1901, il doit ferrailler contre Bailly pour sa réélection en 1902. Il siège alors dans le groupe républicain nationaliste[3], un rassemblement de députés nationalistes et conservateurs. Aux élections de 1906, aucun candidat ne se présente face à lui et il continue donc de siéger parmi les républicains nationalistes. Aux élections de 1910, il défait M. Jousselin et prend place au sein des royalistes du Groupe des droites[3]. Aux élections de 1914, il bat M. Letourneau[2].
Les élections de 1919 et les élections de 1924 se déroulant avec un scrutin de liste, il figure pour les premières sur la liste d'union nationale du Bloc national et pour les secondes sur la liste d'union nationale et catholique de la même coalition. Il est élu dans les deux cas[2]. Il siège de 1919 à 1924 dans le groupe parlementaire des Indépendants de droite[3], un rassemblement de députés catholiques proches de l'Action française et défendant une politique de corporatisme[4].
Il se déclare avec constance « partisan d'un gouvernement honnête, respectueux de toutes les libertés et de la volonté nationale » et désire de la part du gouvernement « le respect et la défense de la famille, de l'armée, de la propriété et de la religion »[2]. Il défend ces idées au sein des commissions du commerce et de l'industrie, de l'hygiène publique, de la réforme administrative, de la marine marchande, de l'Algérie, des colonies et des protectorats, et enfin de la marine militaire[2].
Il tente également de faire réviser certaines allocations militaires et s'efforce de venir en aide à certaines communes de son département dévastées par un cyclone[2].
Au cours de sa carrière parlementaire, il siège à droite de la Chambre mais répugne à s'inféoder aux principaux groupes parlementaires[2] que sont les émanations des partis de droite de l'Action libérale populaire et de la Fédération républicaine, trop compromis avec la Troisième République. Il leur préfère les non-inscrits ou des groupes de conservateurs indépendants (Groupe des droites, Indépendants de droite, groupe de la Défense nationale)[3].
Battu en 1928 par Ernest Bréant, candidat de l'Alliance démocratique, il quitte la vie politique et se retire dans son château des Gâtines[2].
Son fils Charley Ginoux de Fermon, conseiller général de la Loire-Atlantique de 1945 à 1976, est Juste parmi les nations[5].
