Rinne comenzó su carrera deportiva en karting, compitiendo contra los futuros Fórmula 1 Mika Häkkinen, Mika Salo y yrki Järvilehto en múltiples ocasiones. Ganó el Campeonato de Karting de Finlandia en la categoría de 85cc en 1979, por delante de Häkkinen. En 1980, terminó en segundo lugar detrás de Salo y por delante de Häkkinen, que fue cuarto. Luchó contra Häkkinen nuevamente en 1981, y esta vez terminó segunda en la serie con Häkkinen convirtiéndose en campeón. El año siguiente, Rinne ganó la serie de nuevo y Häkkinen tuvo que conformarse con el segundo lugar. En 1983, también terminó primera en el campeonato, pero fue descalificada de la última carrera debido a combustible ilegal. Así el título fue para Häkkinen. También le sancionaron durante un año de las carreras, lo que finalmente terminó su prometedora carrera en el karting.
A pesar de su éxito en las cuatro ruedas, Rinne decidió cambiar a motos y debutó en el Campeonato del Mundo de Motociclismo, en 1987.[2] Con su moto Honda se clasificó segunda en la categoría de 125cc en Hockenheim en 1989 y logró liderar la carrera por un tiempo. Finalmente, terminó séptimo mejorando su octavo lugar anterior en Assen.[3] Éste iba a seguir siendo el mejor resultado de su vida, ya que tuvo un accidente grave en Paul Ricard. Mientras se recuperaba del accidente, recibió una carta de Bernie Ecclestone, quien en ese momento decidió qué corredores pueden competir en la serie. La carta decía que no estaba calificada para competir la próxima temporada. Eso terminó su carrera en el nivel superior y Rinne dijo más tarde que esa carta fue la mayor decepción de su vida.[1]
