Rahmi Koç est le fils unique de l'un des hommes les plus riches de Turquie, Vehbi Koç. Il fréquente le lycée Robert College à Istanbul après son éducation primaire à Ankara. Rahmi Koç étudie à l'Université Johns Hopkins et obtient une licence en gestion industrielle.
Après son service militaire, il commence à travailler activement pour le groupe Koç en 1958, en rejoignant la société Otokoç à Ankara. En 1960, il a été transféré à Koç Ticaret, qui représente le groupe Koç à Ankara. Après le déménagement du siège social de Koç Holding d'Ankara à Istanbul en 1964, il devient coordinateur général de Koç Holding et a déménage à Istanbul.
Par la suite, en 1970, il est devenu président du comité exécutif et en 1975 vice-président du conseil d'administration. Rahmi Koç a été nommé président du comité de direction de Koç Holding en 1980. Son père Vehbi Koç transmet sa présidence à son fils le 30 mars 1984. Rahmi Koç a pris sa retraite le 4 avril 2003, transférant sa présidence à son fils aîné Mustafa Koç.
Une visite au musée Henry Ford dans le Michigan l inspire de créer le musée Rahmi M. Koç à Istanbul et un autre à Ankara, consacré à l'histoire des transports, de l'industrie et des communications.
