Le premier résultat majeur d’Herbert Wilde remontent à 1963, avec une deuxième place du Tour de Cologne amateurs, derrière Winfried Bölke. Il termine également troisième du Championnat d'Allemagne amateur de cyclisme sur route, toujours derrière Bölke. Il remporte le titre de champion amateur de montagne de 1962 à 1964.
En 1964, Herbert Wilde est contrôlé positif à un produit dopant lors du Tour d'Autriche et est suspendu de la course. La même saison, il remporte le Tour de Bad Godesberg, une course internationale en quatre étapes.
En 1965, il passe professionnel et rejoint l'équipe allemande Torpedo aux côtés de Peter Glemser. Il reste dans cette même équipe (même après avoir changé de sponsor pour Batavus) jusqu'à la fin de sa carrière. Au cours de son passage chez les professionnels, Herbert Wilde s’adjuge le titre de champion d'Allemagne de la montagne en 1969.
En 1967, il participe au Tour de France avec l'équipe d'Allemagne et termine 63e. L'année suivante, il se classe 44e à Paris. Toujours en 1968, il remporte le championnat d'Allemagne de critérium. En tant que professionnel, il remporte plusieurs critériums et courses sur circuit.