Koppay avait hérité du titre de noblesse de ses ancêtres paternels, burgraves au Liechtenstein. Sa mère était issue d'une simple famille bourgeoise de Basse-Autriche. Koppay a grandi à Budapest, où il a également étudié la technologie et l'architecture durant deux ans. Il a poursuivi ses études à Vienne. En tant qu'étudiant en architecture, il a été l'élève de Heinrich von Ferstel, Karl König et de Friedrich von Schmidt. Une conscription pour le service militaire comme lieutenant dans la campagne austro-hongroise contre la Bosnie a interrompu ses études.
En 1878, après la campagne militaire, son professeur Schmidt découvrit accidentellement les aquarelles de Koppay, qu'il avait réalisées pendant son temps libre. Schmidt a présenté son élève au peintre Hans Makart, qui l'a accepté dans sa classe de maître. Koppay a poursuivi ses études avec Hans Canon. À partir de 1884, le peintre travaille à Munich, où sa peinture au pastel représentant Louis II de Bavière sur son lit de mort le rend célèbre. Cette image eut un tel succès que Koppay dut en peindre une copie pour l'impératrice Élisabeth d'Autriche. Cela a fait de lui un portraitiste recherché. Il portait le titre de peintre de cour.
En 1900, la maison d'édition de la Hof-und Universitätsbuchhandlung Wien a publié des reproductions des portraits à l'huile grandeur nature de l'impératrice Elisabeth et de l'empereur François-Joseph au format 90 × 60 cm. Les deux tirages de l'artiste, signés à la main, ainsi que des tirages sur cuivre ont été publiés. Les originaux ont été exposés peu de temps après leur création dans les appartements Alexander de la Hofburg de Vienne.
En 1902, une exposition de tableaux de Koppay a lieu au Künstlerhaus. La revue de l'exposition dans la Neue Freie Presse met particulièrement en évidence le portrait de la princesse Élisabeth zu Windisch-Graetz. Une toile représentant la princesse de Hohenberg, l'épouse de l'héritier du trône François-Ferdinand, était également exposée.
Ses voyages l'ont conduit dans de nombreuses cours impériales et royales importantes en Europe et aux États-Unis. En 1887, Koppay s'installe à Paris pendant huit mois. À la fin de 1887, il est appelé à Madrid pour peindre, entre autres, la famille royale. Probablement au début de 1888, il retourne à Paris, où il reste jusqu'à la fin de 1889. Là, il communique avec les peintres Mihály Munkácsy et Léon Bonnat. En 1889, il se rend à Londres, où il reste environ un an avant de s'installer à Berlin où il travaille jusqu'en 1894. Là, il est chargé de peindre la quasi-totalité de la société de la cour et le corps diplomatique. Il se rend ensuite à Vienne, où il s'occupe principalement de portraits jusqu'en 1904. À partir de 1904, il travaille aux États-Unis pendant un certain temps chaque année. Au cours des sept années suivantes, il peint non seulement la noblesse, mais aussi de nombreux industriels, artistes et écrivains. Le président Theodore Roosevelt ou la famille Rockefeller étaient ses clients. En 1911, il s'installe à Londres. Après le déclenchement de la Première Guerre mondiale, il s'installe en Suisse neutre à Zurich. Il y reste jusque vers 1919. Après la guerre, il retourne en Autriche, où il vécut pour la dernière fois à Vienne. Il était également l'un des peintres pastels remarquables de son temps.
