Gromoll est né à Berlin en 1938 et est un violoniste de formation classique. Après avoir vécu et fréquenté l'école à Rosdorf et obtenu son diplôme d'études secondaires à Bonn, il obtient son doctorat en mathématiques à l'Université de Bonn en 1964. Après des séjours dans plusieurs universités, il rejoint l'Université d'État de New York à Stony Brook en 1969.
Il épouse Suzan L. Lemay le et ils ont trois enfants ensemble: Hans Christian (également mathématicien), Heidi et Stefan, physicien et cofondateur de Scientific Media.
Detlef Gromoll, Wilhelm Klingenberg et Wolfgang Meyer, Riemannsche Geometrie im Grossen, vol.55, Berlin-New York, Springer Verlag, coll.«Lecture Notes in Mathematics», (MR0229177)