Issu d'une famille d'industriel suédois, Carl Kempe est le fils de Frans Kempe (1847-1924) et petit-fils de Johan Carl Kempe (1799-1872). Il a étudié à l'école secondaire Norra latinläroverket à Stockholm ainsi qu'a l'Université d'Uppsala entre 1903 et 1905. Il travaille pour l'entreprise familiale de pâtes et papiers « Mo och Domsjö AB » dès 1906 puis succède à son père en tant que directeur en 1917. Bien que l'entreprise ait conservé les caractéristiques d'un producteur de bois de charpente traditionnel, Carl Kempe a été, par le biais d'importants investissements en recherche et développement, le principal responsable de sa transformation en une industrie chimique moderne.
Pratiquant le tennis à l'université, il s'est illustré lors des Jeux olympiques d'été de 1912 en décrochant une médaille d'argent en double messieurs avec Gunnar Setterwall, après avoir écarté deux paires britanniques.
