Fils de Fernand Baguenault de Puchesse (1814-1889) et de Marie-Joséphine Bodin de Boisrenard, il fait son droit à Paris, fréquentant des personnalités du catholicisme libéral opposées au Second Empire. Licencié en droit en 1864 et ès lettres en 1866, il s'inscrit comme avocat à la cour d'appel de Paris et soutient deux thèses en 1869 : De venatione apud Romanos et Jean de Morvillier, évêque d'Orléans, garde des sceaux de France. Il collabore au Contemporain, revue d'économie chrétienne, entre 1866 et 1879, ainsi qu'au Polybiblion et à la Revue des questions historiques, et devient rédacteur au Correspondant et au Journal des débats, ainsi que directeur de la Revue d'histoire diplomatique. Il devient le secrétaire du préfet du Loiret Alfred Pereira après la guerre franco-allemande de 1870 et la chute de l'Empire.
En 1874, il épouse à Lyon à Marie-Thérèse Descours (1853-1884), fille de l'industriel André Descours (Descours & Cabaud), dont il aura deux fils, Raoul et André. Il succède à son beau-père, en 1879, en tant qu'administrateur de la Compagnie des mines, fonderies et forges d'Alais, dont il devient vice-président, puis président. Il préside également les Mines d'or et placers de Biano, les Mines de fer du Zaccar et la société Huelva Central Copper Mining Company.
Vice-président des Mines de fer de la Haute-Deûle, il siège au conseil d'administration des Houillères de Graigola Mertyr, de Brassac et de Beaubrun, de la Compagnie française des mines du Laurium, des Anciens Établissements Cail, de la Foncières-Transports, des Houillères de Rochebelle, des Usines du Partinium, de l'Intercontinental Railway Company, de la Société du pont sur la Manche, de la Société française La Norgine, de la Compagnie internationale La Norgine, de la Société des mines de fer de Fillols, des Établissements Decauville, de la Société industrielle et métallurgique du Caucase, de la Société des mines d'Aytua, de la Société des mines et produits chimiques de Villefranche, de la Banque de l'industrie, de la Société de l'Ouenza
Il est le liquidateur de la Compagnie française du métal déployé en 1902 et de la Compagnie française des mines d'Akhtala en 1909.
Catholique social et républicain libéral, il est, sans succès, candidat à la députation face à Mgr Dupanloup, dont son père était un proche. Il est maire de Sandillon (commune où se trouvait son château de Puchesse) de 1900 à sa mort et conseiller d'arrondissement.
Historien spécialiste du XVIe siècle français, il devient membre du Comité des travaux historiques et scientifiques en 1894 et correspondant de l'Académie des sciences morales et politiques en 1902. Il préside la Société archéologique et historique de l'Orléanais en 1883-1885, 1893-1895, 1902-1904, 1914-1918 et 1922 et la Société de l'histoire de France de 1897 à 1898, puis de 1919 à 1920.
