Il était le fils d'un professeur du collège d'Orléans, qui fut ensuite nommé recteur d'académie dans les Basses-Alpes.
Il fit, en même temps que son frère ainé Charles, qui sera plus connu sous le nom de père Hyacinthe, ses études au collège de Pau en qualité de boursier. Il entra également dans les ordres. Il se fit recevoir docteur en théologie en 1863, en présentant une thèse sur Le Sacrement de mariage. En 1860, il devint membre de l'Académie Stanislas de Nancy. Chargé du cours de morale évangélique à la Sorbonne en 1868, il devint professeur d'éloquence sacrée en 1870.
Chanoine honoraire de plusieurs diocèses, il eut le titre de missionnaire apostolique. Après la rupture déclarée de son frère avec l'Église romaine, considérant cela comme un deuil de famille, il se sépara ouvertement de ce dernier, qu'il attaqua dans une leçon faite à la Sorbonne et intitulée le Schisme de Munich.
