Il est le deuxième mais l'aîné des fils survivants d'Edward Harley (5e comte d'Oxford), et de Jane Elizabeth, fille du révérend James Scott[2]. Il est connu sous le titre de courtoisie de Lord Harley à la mort de son frère aîné en 1828. En 1848, il succède à son père comme comte et hérite du siège de la famille à Brampton Bryan dans le Herefordshire. En raison des nombreuses relations amoureuses de sa mère, des doutes ont souvent été soulevés au sujet de sa paternité: lui et ses frères et sœurs ont souvent été appelés "le mélange Harleian".
Lord Oxford épouse le Eliza Nugent [1806-1877], fille illégitime de George Nugent (1er marquis de Westmeath). Il décède en , à l'âge de 44 ans, et le titre disparaît. Ses domaines sont transmis à sa sœur Jane, qui est mariée à Lord Langdale, puis ils sont finalement transmis à un parent éloigné, William Daker Harley.
↑ «Death of the Earl of Oxford», The Times, The Times Digital Archive, , p.5
↑ (en) John Burke, A General and Heraldic Dictionary of the Peerage and Baronetage of the British Empire, H. Colburn and R. Bentley, , 274-275p. (lire en ligne)