Il naît dans une famille de musiciens fameuse de Bohême. Il étudie d'abord auprès de son frère aîné Vojtěch. Il est diplômé du conservatoire de Prague (1861), après avoir étudié auprès de Moritz Mildner. Il se produit ensuite sur plusieurs scènes européennes et notamment dans le quatuor composé d'autres membres de sa famille. Entre 1862 et 1868, il est maître de concert à l'orchestre symphonique d'Amsterdam, tout en jouant au sein d'un quartet à cordes sous la direction d'Eduard Rappoldi[1]. Il connaissait Tchaïkovski.
En 1869, à l'invitation de Nikolaï Rubinstein il obtient un poste d'assistant du professeur Ferdinand Laub au conservatoire de Moscou (plus tard, il épouse sa fille). Après la mort de Laub en 1875, il lui succède et occupe le poste de professeur au conservatoire pendant quarante ans jusqu'à sa mort. Il est considéré comme l'un des fondateurs de l'école russe de violon et comme un pédagogue exceptionnel. Parmi ses élèves, l'on compte notamment Mikhaïl Erdenko, Stanisław Barcewicz, Gueorgui Doulov, Paul Juon, Reinhold Glière, Vladimir Bakaleïnikov, Emmanuel Krüger, Iossif Kotek, Johannes Carl Paulsen et Jules Conus.
André Biély l'évoque dans son poème Premier rendez-vous (Первое свидание):
Мои мистические дали
Смычком взвивались заливным,
Смычком плаксивым и родным —
Смычком профессора Гржимали[2].
Alexandre Goedicke lui a dédié sa Sonate no 1 Printemps (Весенняя) en la majeur pour violon (ou alto) et piano, op. 10 (en 1899).
Il est enterré au cimetière de la Présentation de Moscou (12e division).
