シャルルは、クロイ家の一員として1506年に生まれた。シエーヴル領主ギヨーム・ド・クロイ(1458年 - 1521年)の甥にあたり、兄にトレド大司教シャルル(1495年 - 1521年)がいる。1523年にルーヴァン大学に入学した。シャルルの師の中には、アドリアヌス・バルランドゥス、ヤコブス・ラトムス、ヨハネス・ドリエドがいた。
1497年から1545年までトゥルネー教区の教区総代理を務めたピエール・コトレルの伝記の中にシャルルについて記されており[1]、1546年にモールセル村にシャルルが建設した城についての資料にも言及が見られる[2]。