Guldberg fue el hijo de un mercader pobre de Jutlandia. Con el apoyo de mecenas recibió una educación de teólogo y llegó a ser historiador y, en 1761, profesor. Como otros académicos de su tiempo seguía una línea ideológica entre el nacionalismo pragmático y la ortodoxia realista.
En 1764 fue presentado a la reina Juliana María de Brunswick-Wolfenbüttel y se convirtió en el profesor de su hijo menor el príncipe Federico. En 1771 pasó a ser secretario del gabinete del príncipe. En su nuevo cargo, su visión nacional y conservadora influyó en el príncipe y le permitió una carrera política. Siendo un monárquico conservador, hizo causa común con la oposición contra el gobierno de Johann Friedrich Struensee, que consideraban un revolucionario por sus reformas ilustradas y un usurpador por su relación con la reina, y fue uno de los promotores de la conspiración contra este en 1771.
Después de la caída de Struensee en 1772, Guldberg se convirtió en el dirigente del nuevo gobierno. Aunque no fue formalmente nombrado ministro hasta poco antes de su propia caída, se le considera el primer ministro de facto durante la mayoría de este periodo como mano detrás de la regencia del príncipe heredero. Con el paso de los años fue formalmente ascendido a primer secretario (1776) y ennoblecido en 1777 como Høegh-Guldberg. Como Struensee, mayoritariamente gobernaba a través de decretos, aprobados gracias a su influencia sobre los guardianes reales del demente Cristián VII.
Su gobierno estuvo marcado por la paz y tranquilidad y la propseridad económica. Dinamarca tuvo una posición neutral que favoreció el comercio durante la Guerra Revolucionaria estadounidense. En cuanto a la política doméstica siguió una línea nacionalista popular en el país. La ley de ciudadanía de 1776 que excluyó a los extranjeros de los cargos públicos de la monarquía fue particularmente popular.Guildberg también apoyó a autores y poetas daneses como Jörgen Zoega. Como nacionalista danés, indudablemente tenía un cariz propagandístico.
Sin embargo también acumuló críticas a su gobierno, por la mala gestión y la corrupción en alza. Su reversión de la mayoría de las reformas de Struensee fue mala para las condiciones de los campesinos y, pese a su origen de provincias, tuvo una política centrada en la capital. Las muertes y caídas en desgracia de algunos de sus compañeros de gobierno (H. C. Schimmelmann, Andreas Peter Bernstorff) amplió sus poderes pero también le privó de aliados políticos.
La crisis económica que siguió al fin de la Guerra de Independencia estadounidense socavó su popularidad mientras que sus protectores la reina Juliana María y el príncipe Federico cayeron en desgracia con el príncipe heredero (el futuro Federico VI), al que parecen haber ignorado. En abril de 1784, poco después de haber sido nombrado ministro, fue forzado a dimitir siguiendo un golpe de Estado del príncipe heredero. Sea entonces degradado al rango de amtmand (prefecto) hasta 1802.
Ove Høegh-Guldberg tiene en la actualidad un gran número de descendientes directos, incluyendo a su tocayo, el biólogo australiano Ove Hoegh-Guldberg.
