Son père, Károly Klette, est peintre de la cour et professeur de dessin pour l'archiduc Joseph[1]. En 1861, lorsqu'un titre de noblesse hongrois est accordé, le nom de famille est changé en Kelety.
Plutôt que de suivre la profession de son père, Gusztáv suit d'abord une formation à Vienne pour devenir avocat, bien qu'il prend également des leçons auprès de Carl Rahl. Sur la recommandation de son professeur, Tivadar Pauler, il devient tuteur de Loránd Eötvös, le fils du baron József Eötvös[1]. L'influence de cette famille s'avérera plus tard significative pour sa carrière. Bientôt, ses études de droit deviennent secondaires par rapport à ses études d'art et il passe quelque temps à l' Académie des Beaux-Arts de Munich, où il étudie auprès de Johann Fischbach, de Friedrich Voltz et d'Eduard Schleich[2].
En 1871, le baron Eötvös, qui est alors ministre de l'Éducation, l'envoie en voyage d'étude pour s'instruire sur la manière dont l'enseignement artistique est dispensé dans d'autres pays. Il se rend en France, en Belgique et en Allemagne et produit un rapport intitulé La fonction de l'éducation artistique dans notre pays et à l'étranger, qui recommande la mise en place d'un système uniforme; comprenant une école "pré-artistique". La proposition est acceptée et l '«École royale nationale hongroise des arts et de l'artisanat» (aujourd'hui l'université d'art appliqué Moholy-Nagy ) est fondée en 1880. Gusztáv Kelety devient le premier directeur[2].
À partir du milieu des années 1860, il écrit des critiques d'art de nature essentiellement conservatrice, bien qu'il soit parmi les premiers à remarquer les talents de nombreux peintres qui deviendront plus tard célèbres, comme Istres Nagy, Tivadar Kosztka Csontváry, Mihály Munkácsy et Pál Szinyei Merse.
Dans ses dernières années, il tombe malade de la tuberculose et tente de se suicider peu de temps avant de mourir de cette maladie en 1902[1].
