Abel était le fils du maître menuisier Johann Melchior Abel. Après sa scolarité, il commence un apprentissage de négociant à Aschach. Là-bas, par ses dessins spontanés, il suscite l'intérêt d'un fonctionnaire en voyage qui le recommande auprès de l'académie des Arts appliqués de Vienne. En 1792 Abel réussit l'examen d'admission avec Brio et au vu de son talent, il est complètement dispensé des frais de scolarité. Il devient l'élève des professeurs d'université Friedrich Heinrich Füger et Franz Anton von Zauner.
En 1794 Abel reçoit une médaille d'argent pour son dessin Dédale et Icare lors d'une exposition de l'Académie. Comme meilleur élève de sa promotion, Abel devient un boursier hors catégorie, qui lui permet d'obtenir en 1801 à 16 ans un séjour à Rome. En 1795-1796, Fürst Adam Czartoryski l'engage comme précepteur et professeur de dessin sur ses terres en Pologne. Il revient à Vienne en 1796 et devient peintre libre, mais grâce à l’amitié de son professeur Füger, il resserre ses liens avec l'Académie. En 1801, Abel va à pied par Venise et Florence pour économiser sur le prix du voyage à Rome. Grâce à ces copies et ses études sur Raphaël et Michel-Ange Abel va influencer les peintres Johann Christian Reinhart et Joseph Anton Koch. Même Bertel Thorvaldsen trouve dans l'œuvre d'Abel conseils et inspirations. Abel devient membre de l'association des artistes de la guilde St Lucas. Il effectue un travail important en peignant le portrait de la famille Fries, le comte d'Empire Moritz Christian Fries représentant à Rome les boursiers autrichiens de l'Académie impériale.
En 1807, Abel retourne à Vienne. Auprès de son professeur Füger, il retrouve enthousiasme et admiration et y puisse son inspiration. Lors d'une dispute amicale avec son collègue Martin Johann Schmidt Abel produit une énorme toile avec le titre Klopstock à l’Élysée [Klopstock est conduit par une muse, événement inspiré d'Homère, le plus célèbre des poètes de l'antiquité et des temps modernes, guidé vers l'Élysée]. Le paysage de cette œuvre est réalisé par Johann Christian Reinhart. Le , Josef Abel meurt à l'âge de 54 ans aux alentours de Vienne. Sans famille proche, sa bibliothèque de travail et ses œuvres sont données en héritage à la ville de Vienne.
