En 1854, il est envoyé par ses supérieurs à Rome comme directeur des études au séminaire français. Il en devient le supérieur en 1859. En 1864, un désaccord sur la conception de la formation des séminaristes conduit le supérieur Stumpf à demander à André Raess son incardination au diocèse de Strasbourg. L'évêque accepte et le nomme presque aussitôt supérieur de son grand séminaire[1].
En 1876, il est nommé vicaire général et est spécialement chargé des questions d’enseignement. Il s’attache à mettre fin à la situation créée par la fermeture des établissements libres et des petits séminaires à la suite du Kulturkampf. II se révèle habile négociateur et obtient la réouverture progressive desdits établissements et la reconnaissance de certains comme lycées classiques.
Étant donné l’état de santé d'André Raess, déjà âgé de 89 ans, il est nommé administrateur apostolique du diocèse par le Saint-Siège le . C'est à lui désormais qu'incombe la charge pastorale de l'ensemble du diocèse de Strasbourg, la juridiction de l'évêque étant suspendue à son profit[3],[4].
Stumpf s'affaire alors à réorganiser l'officialité et crée une série de commissions destinées à seconder l’évêque dans ses tâches administratives. Il fonde également le Bulletin ecclésiastique qui paraît d’abord en français (1882-1888), puis en allemand. Pour réduire les tensions entre protestants et catholiques, il encourage notamment les catholiques à construire des églises en vue de mettre fin au simultaneum[5]. À cette fin, il crée l’Œuvre des Églises mixtes en 1885.
Il invite en outre les ordres religieux à s’installer en Alsace et cherche à promouvoir les associations paroissiales et les confréries religieuses qui connaissent un essor prometteur. Il devint ainsi le premier protecteur de l'Union Sainte-Cécile qui regroupe les différentes chorales paroissiales[réf.nécessaire]. En 1885, il est autorisé par Rome à ériger un institut de théologie au sein du grand séminaire, avec le droit de conférer les titres canoniques du baccalauréat et de la licence de théologie, en concurrence avec la faculté d'État[1].
À la mort d'André Raess, le , il lui succède et devient le 98eévêque de Strasbourg[6]. Il est intronisé solennellement le suivant[5]. Une pénible maladie mine toutefois progressivement ses forces. Il meurt moins de trois ans plus tard, le , à l'âge de 67 ans.
Claude Muller, Mgr Pierre Paul Stumpf, enfant d'Eguisheim: Un épiscopat dans l'alternative, 1887-1890, Éditions Dominique Gueniot, 1987(ISBN2901061877).
