Henri Caumont est fils et petit-fils de charpentiers tourangeaux[1]. Il entre au noviciat des capucins du Mans, le , jour de l'Assomption, et prend le nom de religion de Fortunat. Il étudie la philosophie et la théologie chez les capucins missionnaires de Kadıköy (Chalcédoine) dans la banlieue de Constantinople, capitale de l'Empire ottoman. Il est ordonné prêtre à Nantes le [2].
Sous son épiscopat, il fait passer le nombre des postes de mission de dix à vingt-et-un et le nombre de missionnaires de seize à quarante-six, les écoles catholiques de six à cinquante-six. Le nombre d'élèves qui était de 464 en 2013 s'élève à 1 830 en 1930. Les baptisés catholiques qui étaient 3 102 en 1913 passent à 7 464 en 1930[2], en quatre paroisses. Il s'appuie dans sa mission sur deux congrégations autochtones qu'il fonde pour instruire et soigner la population locale. Ce sont d'une part les servantes du Seigneur d'Ajmer (fondées en 1906) et d'autre part les sœurs missionnaires d'Ajmer, fondées en 1911 avec sa sœur Joséphine Caumont, en religion Mère Marie-Mathilde, des religieuses franciscaines de Sainte Marie des Anges[6].
Mgr Caumont est l'auteur de plusieurs livres et publications dont Au pays des rajas, les débuts d'une mission, édité à Paris, en 1906 sous le nom d'auteur de R.P. Fortunat de Tours, ainsi qu'un livre de prières en langue locale intitulé Ishprârthnâvali, en 1925[2].
Il meurt alors qu'il est en visite pastorale à Indore. Il est inhumé dans la cathédrale de l'Immaculée-Conception d'Ajmer sous l'autel du Sacré-Cœur.
