スイス・チューリッヒ州のヴィンタートゥールに生まれた。14世紀から続く食器職人の家の生まれであったが絵が好きで、父親の仕事を継がずに、1753年からヴィンタートゥールの画塾で学び始め、3年後にアウクスブルクに移り版画家、ハルト(Johann Jakob Haid)の弟子になり、1年後には、ハルトの推薦を受けてアンスバッハの宮廷画家、ヨハン・レオンハルト・シュナイダー(Johann Leonhard Schneider: 1716-1768)の弟子になった。修行のためにしばしばミュンヘンに旅し、ミュンヘンの様々な美術コレクションの作品を学んだ。1759年にアウクスブルクに戻り、その後レーゲンスブルクで働いた後、1765年にヴィンタートゥールやチューリッヒで過ごした。元外交官で美術史家のハーゲドルン(Christian Ludwig von Hagedorn: 1712-1780)に見いだされ、1764年に新たに設立されたドレスデンの美術アカデミー（後のドレスデン美術大学）で教師として働くことを勧められ、1866年にドレスデンに移り、肖像画の教師として、没するまで働いた。精力的に肖像画を描き毎年、展示会を開いた。ライプツィヒの書店主と知り合い、その注文で多くの文学者、文化人の肖像画を描くためにしばしばベルリンを訪れた。
1,000点以上の肖像画を描き18世紀後半から19世紀初めの代表的なドイツの肖像画家となった。
1771年10月に結婚し、5人の子供が生まれたが3人の子供は幼い時に亡くなった。娘のカロリーネ・スザンネ(Caroline Susanne: 1781年生まれ)は画家のカール・ルートヴィヒ・カーツ（1773-1810）と結婚した。息子のカール・アントン・グラフ（Carl Anton Graff: 1774-1832）は風景画家になった。
