Participó en su primera maratón en el año 1991 y dos años después, en 1993, se proclamó campeón de Sudáfrica de maratón. Pero no fue hasta el año 1995 cuando llegó su primer éxito internacional cuando ganó la Maratón de Honolulu, en Hawái.
En marzo de 1996 Thugwane sufrió un grave percance cuando fue atacado en Bethal por tres ladrones que se subieron a su coche y estuvieron a punto de dispararle. Finalmente pudo escapar saltando del coche en marcha, lo que le produjo algunas lesiones que estuvieron a punto de impedirle acudir a los Juegos Olímpicos.Una vez allí en la maratón de los Juegos Olímpicos de Atlanta 1996 transcurrió a un ritmo relativamente lento, con un grupo bastante numeroso en cabeza hasta pasado el km 30. En ese momento Josia Thugwane tomó la iniciativa y comenzó a tirar fuerte, hasta que se quedaron en cabeza solamente tres corredores: Thugwane, el surcoreano Lee Bong-Ju y el keniano Eric Wainaina. Tras ellos venía en 4.ª posición el español Martín Fiz, campeón mundial el año anterior en Gotemburgo, remontando posiciones y recortando tiempo pero que ya no pudo darles alcance.
Cuando los tres de cabeza ya estaban prácticamente en el Estadio Olímpico, Thugwane lanzó el ataque definitivo y se hizo inalcanzable para sus rivales. Finalmente ganó la medalla de oro con 2h12:36, y con solo 3 segundos de ventaja sobre el surcoreano Lee, medallista de plata, en el final de la maratón más reñido de la historia olímpica. El bronce fue para Wainaina, que llegó a 8 segundos del vencedor. Era el primer atleta sudafricano de raza negra en ganar una medalla olímpica, y el segundo sudafricano en ganar la maratón olímpica tras Kenneth McArthur en los Juegos de Estocolmo 1912. Posteriormente tras la prueba declaró:
"Me siento muy bien por haber ganado esta medalla para mi país y mi presidente. Yo había entrenado mucho en Albuquerque, lo que me ayudó a habituarme al calor de esta ciudad. Pero esta vez, el clima no fue tan extremo como esperaba. Creo que mi plan de carrera fue importante"
Tras los Juegos Olímpicos siguió brillando en 1997, cuando fue 3.º en la maratón de Londres y ganó la prestigiosa Maratón de Fukuoka con un tiempo de 2h07:28, la mejor marca de su vida y la 2.ª del mundo ese año. A partir de aquí su carrera declinó rápidamente. De los tres siguientes maratones en que participó, no consiguió acabar ninguno y posteriormente en los Juegos Olímpicos de Sídney 2000, donde acabó en una discreta 12.ª posición.
Su última victoria fue en la Maratón de Nagano de 2002.
Juegos Olímpicos 
