Nació en Haifa (entonces en Palestina), sus padres eran inmigrantes ucranianos de Kamianets-Podilsky. Recibió sus primeras lecciones de violín a los seis años, con nueve dio sus primeros conciertos, y a los diez llamó la atención de Bronislaw Huberman, que recomendó que fuera a proseguir sus estudios en París. Allí estudió violín en el Conservatorio de París. Entre sus profesores se cuentan violinistas tan conocidos como Carl Flesch, George Enescu y Jacques Thibaud.[2]
Durante la guerra se trasladó a Inglaterra, donde trabajó en una fábrica de armamento, para colaborar en la lucha contra la Alemania Nacionalsocialista. Después se comprometió en numerosos conciertos de apoyo a las tropas.[3]
A mediados de los años 50 grabó con la Orquesta Sinfónica de Viena los "caballos de batalla" de la literatura violinística, entre ellos los conciertos para violín de Chaikovski, Bruch, Mendelssohn y Sibelius, así como el Concierto para violín n.º 1 de Bartók y su Sonata para violín solo.
En los 50 se convirtió en abogado de la música contemporánea y sus conciertos fueron objeto de culto en los círculos existencialistas parisinos. En los 60 grabó los Conciertos para violín n.º 1 y 2 de Paganini, pero también de clásicos modernos como Ígor Stravinski, Paul Hindemith y Alban Berg (también su Concierto para violín, piano y vientos).
En 1965 realizó una aparición muy aclamada con la Orquesta Filarmónica de Berlín, donde tocó el Concierto para violín n.º 1 de Bartók. Dos años después volvió a tocar allí ante un patio de butacas medio vacío.
En 1968 participó en el proyecto Dirty Mac de John Lennon, donde apareció con Yōko Ono, para el programa de la televisión británica The Rolling Stones Rock and Roll Circus.[4]
En 1971 Bruno Maderna escribió para él su Pièce pour Ivry, y en 1972 estrenó una pieza para violín solo de Iannis Xenakis. En 1972 participó también en un concierto en Tel Aviv en homenaje a Bronislaw Huberman, en el que se encontraron grandes violinistas de la época (entre otros los jovencísimos Pinchas Zukerman e Itzhak Perlman). De nuevo volvió a tocar el Concierto para violín n.º 2 de Bartók.
En 1980 publicó su autobiografía (en francés) y en 1990 fue nombrado Embajador de Buena Voluntad de la Unesco.[5] Su meta sería el "apoyo a la educación y la cultura de la paz y la tolerancia".
En 2001, ya anciano, dio conciertos con Martha Argerich, en los que tocó entre otras obras la Sonata Kreutzer de Ludwig van Beethoven y la Sonata para violín de César Franck y de Claude Debussy.
En marzo de 2013 arriba a la ciudad de Salónica para participar en el 75 aniversario de la primera deportación de Tesalonicenses judíos hacía los campos de Concentración dictando una clase magistral y tocando durante la Ceremonia religiosa en la Sinagoga Monastiriotes de la ciudad.
Desde finales de los 60 estableció su residencia en París, Francia. Falleció a los noventa y ocho años el 24 de diciembre de 2020 en París.[6]
Gitlis tocaba el violín de Antonio Stradivari "Sancy", de 1713.
