Descendant par sa mère du pasteur Increase Mather, le jeune Brown est élevé par sa tante, et, doué pour le dessin, est placé vers 1773 dans l'atelier du peintre Gilbert Stuart. Il arrive à Londres en 1781, et devient l'assistant de Benjamin West, fréquentant la Royal Academy comme étudiant l'année suivante. En 1783, il commence par exposer des portraits en miniature.
En 1784, il réalise deux tableaux religieux pour l'église St Mary's-in-the-Strand, ce qui le conduit à s'associer au peintre Daniel Orme pour la commercialisation de ces œuvres et d'autres, par le biais d'expositions et de la vente de gravures. Parmi celles-ci figurent de grandes toiles représentant des scènes de l'histoire anglaise, ainsi que des scènes tirées des pièces de Shakespeare, en lien avec la Boydell Shakespeare Gallery. Cependant, malgré leur succès, il commence à se concentrer sur le portrait. Ses premiers véritables succès sont obtenus auprès de modèles américains, notamment son mécène John Adams et sa famille en 1784-1785 (conservé au Boston Athenæum). Au printemps 1786, il entreprend la réalisation du plus ancien portrait connu de Thomas Jefferson, alors en visite à Londres. Il peint également le portrait de Charles Bulfinch la même année.
Son portrait en pied du prince Frédéric Auguste en uniforme de colonel des Coldstream Guards, réalisé en 1788, lui vaut d'être nommé peintre d'histoire et portraitiste du prince. Il a également peint des portraits du prince de Galles (vers 1789), de la reine Charlotte, de Charles Cornwallis et d'Amelia Noel (1797).
Il est élu en 1798 membre honoraire de l'Académie américaine des arts et des sciences.
Au milieu des années 1790, ses mécènes se font plus rares et son échec à être élu à la Royal Academy le pousse à quitter Londres en 1808 pour Bath, Bristol et Liverpool. Enfin, il s'établit à Manchester, avant de revenir à Londres près de vingt ans plus tard, en 1824, où, même après la mort de Benjamin West, il continue d'imiter le style pictural de son maître. Incapable d'obtenir des commandes en nombre suffisant, Brown finit par mourir dans une relative pauvreté à Londres.
.png){kind=small}
