De 1839 à 1843, Karl Jelinek a étudié le droit, les mathématiques et les sciences à l'université de Vienne. Il y suivi des cours avec plusieurs sommités comme le mathématicien Joseph Petzval, le physicien Andreas von Ettingshausen et l'astronome Joseph Johann Littrow[1]. À sa sortie, il fut engagé comme assistant à l'Observatoire de Vienne, et en 1847, devint adjoint à l'Observatoire de Prague où Karl Kreil était directeur de la météorologie et géomagnétisme[1].
En 1852, Jelinek commença à enseigner les mathématiques supérieures à l'Institut polytechnique de Prague en même temps que ses activités à l'Observatoire. En 1863, il succéda à Kreil à la direction du service météorologique et de géomagnétisme autrichien tout en étant professeur de physique à plein temps à l'Université de Vienne[1]. Il procéda à son expansion et équipa le nouveau bâtiment de son siège-social avec les instruments les plus modernes. Jelinek fonda également la Société météorologique autrichienne vouée au développement de cette science et engagea Julius von Hann comme éditeur de son magazine,le Meteorologische Zeitschrift[1].
En 1864, Jelinek est devenu membre du Conseil de l'enseignement et de 1870 à 1873, il fut consultant pour les collèges techniques et les écoles de commerce au sein du ministère de l'Éducation autrichien[1]. Jelinek fut également député au parlement de Prague de 1862 à 1866 appartenait au parlement[1].
En 1872, avec des météorologues de différents pays, Jelinek travailla à la tenue d'une conférence internationale à Leipzig[1]. Celle-ci convoqua un congrès à Vienne pour l'année suivante où les bases de l'Organisation météorologique internationale (OMI) furent jetées[1]. Il fut alors élu au comité permanent[1].
Après son décès en 1876, Jelinek fut enterré dans le cimetière Heiligenstädter Friedhof de Vienne[1].
