Il fait ses études à University College, à Oxford. Après l’obtention de son diplôme, en , il intègre Lincoln’s Inn. En 1782, il retourne à Oxford en vue d’entrer dans les ordres. Il reçoit la cure de Prittlewell, en 1786, en Essex, mais reste à Oxford quelques années pour accumuler des matériaux en vue d’un projet de dictionnaire de la langue anglaise.
Il est marié deux fois, et le lendemain de son second mariage, il est emprisonné à Exeter pour dettes. Il se retire ensuite à Hambourg, et deux ans plus tard, sa bibliothèque est vendue. Il accède, en 1797 au titre de baronnet de Sir John Croft, 4e du titre, un cousin éloigné, mais pas à sa succession. Revenu en Angleterre en 1800, il part une fois de plus à l’étranger en 1802, habitant près d’Amiens, dans une maison appartenant à Lady Mary Hamilton.
Il reçoit l’aide de Charles Nodier dans certaines de ses nombreuses entreprises littéraires. Il est surtout connu pour son roman Love and Madness(en) basé sur l’assassinat, par James Hackman, de Martha Ray, maitresse de Lord Sandwich, en 1779. On lui doit également la première notice de la vie d’Edward Young, qui est l’ami d’enfance du fils de l’écrivain, mais ce savant et linguiste est aussi l’auteur d’intéressants ouvrages en français, dont Commentaires sur les meilleurs ouvrages de la langue française, Commentaire sur Le petit carême de Massillon (Paris P. Didot aîné, 1815), Bonaparte consul à vie (Paris, C. Pougens, 1803) ou Horace éclairci par la ponctuation (Paris, A.-A. Renouard, 1810).
C'est lui aussi qui parla le premier du poème pionnier de la littérature fantastique le Dernier Homme du Havrais Grainville. On lui doit encore d’avoir retrouvé le Parrain magnifique, poème en 10 chants de Gresset, qui ne fut publié qu’après la mort de son auteur.
