Si vous disposez d'ouvrages ou d'articles de référence ou si vous connaissez des sites web de qualité traitant du thème abordé ici, merci de compléter l'article en donnant les références utiles à sa vérifiabilité et en les liant à la section «Notes et références».
Graf est né le à . Il fut formé par son père Johann Graf puis servit comme batteur dans un régiment de l'armée néerlandaise où il fut fait prisonnier de guerre par les Français. Après son retour en 1759, il devint flûtiste et chef d'orchestre à Hambourg pendant cinq ans. Durant cette période, il effectue des tournées en Angleterre, en République néerlandaise, en Italie, en Suisse et en Allemagne. Il fut ensuite nommé premier flûtiste par son frère Christian Ernst Graf qui dirigeait la chapelle de la cour du stathouder à La Haye. Plus tard, il devint directeur musical de toutes les églises protestantes et chantre de l'école Sainte-Anne d'Augsbourg où il fonda un concert de la société civile en 1779. Ici, il a également rencontré Mozart.