Le , il est élu à la tête du diocèse épiscopalien de Delaware. Il reçoit en effet les deux tiers des voix dès le premier tour. Il est alors consacré par l'évêque Daniel S. Tuttle, assisté d'Ozi W. Whitaker et de William Woodruff Niles.
Conversion au catholicisme
Kinsman est nommé consultant auprès de la Société de l'Atonement, une communauté religieuse épiscopalienne travaillant pour l'unité entre les chrétiens et reçue au sein de l'Église catholique en 1909. En 1918, il fait partie des délégués épiscopaliens participant à une rencontre œcuménique avec les représentants de l'Église orthodoxe grecque, à New York.
Le , il annonce son intention de démissionner de sa charge, ce qu'il fait en octobre suivant, afin d'être reçu au sein de l'Église catholique.
Il vit alors les onze dernières années de sa vie à Lewiston, dans le Maine, où il meurt le .
