Il sort diplômé de l'Académie militaire de West Point en 1847, spécialiste de l'artillerie[note 1]. À sa sortie, il est nommé assistant instructeur d'artillerie à West Point avant de participer à la guerre américano-mexicaine. À son retour, il réintègre West Point en tant qu'instructeur (1853-54) et aide de camp à l'académie (1854-1861).
Le , sur recommandation du général Grant, il est nommé Grand-Prévôt Général (Provost Marshal General).
Il est alors chargé du recrutement, de la conscription et des désertions de l'armée de l'Union mais aussi de la sécurité du Gouvernement. Pour réussir dans son entreprise, il va créer des postes de Grand-Prévôt dans chaque district du Congrès. Ces derniers nomment des Vices Grand-Prévôts dans chaque comté.
James Fry est également au cœur des émeutes de New York de mi- (Draft Riots). Les journaux du publient un ordre de Fry résumé en ces termes:
Les Grand-Prévôts seront soutenus par les forces militaires dans l'application du projet de conscription. Selon la loi de ce pays, le projet sera mené à bien le plus rapidement possible.
Sa charge de Grand-Prévôt Général prend fin avec la suppression du poste le .
Il est aide de camp du général, avec le grade de colonel, des divisions du Pacifique (1866-69), du Sud (1869-71), du Missouri (1871-73) et de l'Atlantique, de 1873 au , jour où il prend sa retraite du service actif à sa demande.
Il se tourne alors vers l'écriture.
Principaux ouvrages
Rapport final des opérations du Bureau du Grand prévôt général de 1863 à 1866. Publié comme document du Congrès (2 pièces, Washington, 1866).
Esquisse du Département de l'aide de camp du général de l'armée américaine, de 1775 à 1875 (New York, 1875)
L'histoire et les effets juridiques des Brevets dans les armées de Grande-Bretagne et les États-Unis, de leur origine, en 1692, à l'heure actuelle (1877)
Sacrifices de l'Armée, illustration de la vie militaire sur la frontière (1879)
McDowell et Tyler lors de la campagne de Bull Run (1884)