Par la suite, il reçoit l'habilitation à l'université de Göttingen sous la supervision de Felix Klein. En 1904, il devient privatdozent en astronomie et en mathématiques. En 1907, il est nommé professor extraordinarius. Il s'intéresse alors aux tremblements de terre. En collaboration avec Emil Wiechert, il met au point la méthode de Wiechert-Herglotz qui sert à calculer la vitesse de distribution de l'intérieur de la Terre à partir de la valeur des temps de propagation des ondes sismiques. Dans le cadre de ses recherches, il résout une équation intégrale spéciale de type abélien. En 1908, il est nommé professor extraordinarius à Vienne, puis à l'université de Leipzig en 1909.
En 1925, il succède à Carl Runge à la chaire de mathématiques appliquées de l'université de Göttingen.
Sous le Troisième Reich, il continue d'enseigner à Göttingen. Il est nommé professor emeritus en 1947. L'un de ses étudiants est Emil Artin.
