Phelps commence sa carrière politique en tant que sous-commissaire aux affaires des anciens combattants pour la ville de New York. De 1924 à 1928, il est membre républicain de l'Assemblée de l'État de New York. Après la Convention nationale républicaine de 1932, il devient démocrate et siège à plusieurs congrès nationaux. Il exerce un autre mandat à l'Assemblée de l'État, puis au Sénat de l'État de New York. Il assiste également à une convention constitutionnelle du New Jersey, anime une longue émission de commentaires à la radio et est un auteur prolifique de lettres au rédacteur en chef de grands journaux. Phelps sert dans l'armée américaine pendant la Seconde guerre mondiale, atteignant le rang de capitaine. Immédiatement après la guerre, Phelps fait partie du personnel de Douglas MacArthur lors du tribunal pour crimes de guerre japonais.
Après avoir été nommé gouverneur des Samoa américaines en 1951, Phelps en devient le premier gouverneur civil. La marine américaine s'est en grande partie retirée de l'île avec le dernier gouverneur de la marine, laissant à Phelps la tâche de restructurer une économie auparavant centrée sur l'armée. Il fait la promotion des installations de stockage de pétrole sur l'île et attire de nouvelles compagnies aériennes à l'aéroport international de Pago Pago, afin de compenser la perte de revenus. Son dernier poste à l'étranger est celui d'ambassadeur en République dominicaine sous le règne de Rafael Trujillo. Là, il négocie des ventes de terres entre les deux gouvernements et doit répondre à la colère des citoyens lors d'assassinats possibles sur le sol des États-Unis ordonnés par Trujillo. Phelps est décédé à Wildwood, dans le New Jersey et est enterré au cimetière national d'Arlington.
