Ses origines familiales sont liées à la famille souabe Keller(de), dont certains membres s'étaient déjà distingués en tant que fonctionnaires administratifs compétents au Moyen Âge. En tant que septième enfant du conseil de guerre ducal Friedrich Heinrich Keller, il a grandi à Tübingen et a eu 16 frères et sœurs. Après avoir fréquenté l'école et étudié le droit[2], il rejoint le service diplomatique du duché de Wurtemberg. Là, il est devenu le secrétaire secret, conseiller du gouvernement et conseiller secret du duc Charles II de Wurtemberg.