Né à La Haye le , Carel Adam van Bylandt est l'un des fils d'Anna van der Duyn (1747-1798) et du comte Alexander van Bylandt (1743-1819). Le , il entre à l'école des cadets hollandais. Après avoir servi dans l'armée des Provinces-Unies, il en démissionne en 1795, après la fondation de la République batave[1], à l'instar de son frère aîné Willem Frederik van Bylandt.
Au début de l'année 1808, Bylandt, qui a été nommé capitaine le précédent, est à nouveau auprès du roi à Utrecht et à La Haye. Le , il est promu au grade de lieutenant-colonel. Le , il est nommé colonel au sein des gardes du corps à cheval. Il passe ensuite à l'état-major de l'armée puis au 1er régiment de chasseurs, le [2], à la veille de l'annexion du royaume de Hollande par l'Empire français.
Entre août et , « prévenu de manœuvres contre la sûreté de l’État », Bylandt est brièvement incarcéré au donjon de Vincennes avant d'être relâché et autorisé à regagner son régiment stationné à Metz, où il reste quelque temps sous haute surveillance. Malgré cet épisode étrange, il obtient en 1811 la citoyenneté française ainsi que la confirmation de son grade de colonel dans l'armée française. L'année suivante, Louis le reprend à son service[2].
Fait prisonnier pendant la campagne de 1813, Bylandt est libéré sur parole à Hambourg[2]. En 1815, pendant les Cent-Jours, il aurait rejoint la cour de Louis XVIII à Gand. Deux ans plus tard, il demande et obtient sa réintégration dans l'armée française, avec le grade de colonel d'état-major[5].
En 1821, Bylandt est à nouveau étroitement surveillé car les autorités de la Restauration ont découvert qu'il retrouvait chaque année Hortense de Beauharnais en Italie ou à Arenenberg[5].
En 1864, l'historien Pierre Dolgoroukov (en) a écrit que l'empereur Napoléon III, fils de Louis Bonaparte, est en réalité l'enfant naturel du comte de Bylandt et de Hortense de Beauharnais. Il fonde cette affirmation sur des propos de son grand-oncle, Serge Dolgoroukov (d), ambassadeur russe à la cour du roi Louis de Hollande, qui auraient été rapportés par le prince Élie Dolgoroukov puis confirmés par le comte Bloudov, secrétaire de la légation russe en Hollande en 1808[8].
Soixante-dix ans plus tard, Pierre de Lacretelle (d) étudie cette hypothèse dans un article publié dans la Revue de Paris. Tout en reconnaissant l'absence de preuve décisive, il constate que Napoléon III aurait dû être conçu vers le 25- si sa naissance, 270 jours plus tard, n'avait pas été prématurée. Or, dans la nuit du 25 au , Hortense dormait dans une auberge de Gavarnie, accompagnée de quelques proches et suivants, mais loin de son mari, parti pour Ussat depuis le et qu'elle n'a retrouvé que le suivant à Toulouse[9]. Hortense pourrait avoir voulu brouiller les pistes en précisant, dans ses Mémoires, qu'elle aurait auparavant renvoyé Bylandt en Hollande, inquiète pour la sécurité de son écuyer, ce dernier ayant fait «plusieurs chutes dangereuses en s'obstinant à [la] suivre à travers des routes trop difficiles pour son âge»[10]. Or, Bylandt n'avait que dix ans de plus que la reine et était dans sa 34e année au moment de cette excursion.
D'autres hommes, également présents dans l'entourage d'Hortense à Gavarnie ou à Cauterets en , auraient pu être le père biologique de Napoléon III. On cite notamment Élie Decazes et l'amiral Ver Huell. Dans sa biographie du dernier empereur français, Pierre Milza estime qu'« aucune de ces hypothèses n'est à rejeter de manière définitive mais aucune [...] n'emporte davantage la conviction » et que, pour la plupart des historiens, dont Louis Girard, « l'hypothèse la moins improbable reste celle de la paternité du roi Louis »[11].