En 1773, il est vicaire de l'église paroissiale Saint-Pierre et Saint-Paul de Wisbech. Avant sa promotion comme évêque, Warren est archidiacre de Worcester. Pendant qu'il est évêque à Bangor, il est impliqué dans deux controverses majeures. En , il est impliqué dans un différend avec les sociétés minières Parys et Mona au sujet de la démolition et de la reconstruction de l'église paroissiale d'Amlwch. L'évêque affirme que les compagnies minières avaient promis de reconstruire l'église; ils ont nié cela, mais acceptent finalement d'apporter une contribution financière [2].
En 1796, l'évêque est impliqué dans un autre différend, qui aboutit à une affaire judiciaire. Warren a nommé son propre neveu registraire du diocèse de Bangor, même si ce dernier est mineur [3]. Lorsque l'évêque tente de limoger le registraire adjoint, Samuel Grindley, Grindley refuse de quitter son poste, et une bagarre s'ensuit au cours de laquelle l'évêque est menacé avec un pistolet.
