Le , il est élu doyen du chapitre de la collégiale de Saint-Quentin par les chanoines, contre le candidat du roi Jean-Arnoul de Boulongne. Il le reste jusqu'en 1631, année où il choisit de se démettre[1].
Lors d'une visite dans son diocèse, étant à Montreuil, il est violemment insulté et maltraité par les habitants de cette ville, pour avoir furtivement enlevé quelques ossements de saint Wulphy, dont il voulait faire présent à son église cathédrale, pour satisfaire la dévotion des habitants d'Amiens. L'évêque s'en plaint et par sentence du , six individus de Montreuil sont condamnés et pendus en effigie. De Caumartin fait commuer le tout en une amende de 1 600 livres.
Deux ex-jésuites, Jean Labadio et André Dabillon abusent de la permission que ce prélat leur a donnée de prêcher dans son diocèse et sèment de graves erreurs en matière dogmatique, dont le scandale force l'autorité à les en chasser.
