Né à Londres, en Angleterre, il est le troisième fils de John Stewart (7e comte de Galloway), et sa seconde épouse, Anne Dashwood. Il fait ses études au Corpus Christi College, Oxford où il obtient son diplôme de baccalauréat ès arts en 1795 puis au tous Souls College, Oxford où il obtient une maîtrise en 1799. Il est ordonné au ministère anglican comme diacre en et prêtre en . De 1799 à 1826, il est recteur d'Orton Longueville dans le Cambridgeshire. En 1807, il arrive au Bas-Canada comme missionnaire et s’installe à Montréal. Il s'installe rapidement à Saint-Armand et participe à la construction de l'église Trinity de Frelighsburg, premier lieu de culte anglican régulier dans les Cantons-de-l'Est. En 1826, il est nommé évêque de Québec. Il meurt à Londres en 1837 et y est enterré au Cimetière de Kensal Green[1].
