Durant l'Affaire Dreyfus, il tient des propos antisémites lors de réunions publiques[6]. Il se représente aux élections de 1896 comme candidat révisionniste mais, là aussi, n'est pas élu. En 1897, il adhère à la Ligue des patriotes et au comité électoral de Clovis Hugues. Feltesse mène la dissidence contre ce dernier au moment des élections de 1898 puis rompt ouvertement au printemps 1899[6].
Au élections de 1900, Feltesse est de nouveau investi dans le Quartier de la Vilette comme candidat "républicain-socialiste antidreyfusard"[9] mais finit à la troisième position avec 1 123 voix contre 2 991 pour son concurrent radical socialiste. Il quitte définitivement la vie politique et meurt en 1923 à l'âge de 68 ans.