Il échoue en à se faire investir ministre-président de la Basse-Saxe à cause d'une rupture de la coalition alors au pouvoir. En , il quitte le gouvernement fédéral et conduit sans succès la campagne du SPD aux élections régionales face au sortant de la CDUErnst Albrecht. Il est de nouveau défait en . Cédant la candidature à Gerhard Schröder quatre ans plus tard, il devient vice-président du Landtag.
En , le Land de Basse-Saxe s'enfonce dans la crise politique. Alors que le ministre-président Alfred Kubel se retire, son ministre des Finances et successeur désigné Helmut Kasimier échoue deux fois au vote d'investiture. Il est devancé les deux fois par Ernst Albrecht, candidat de la CDU.
Le SPD de Basse-Saxe fait donc appel à Ravens pour tenter de ressouder la «coalition sociale-libérale» au pouvoir depuis deux ans, après avoir écarté sa candidature au profit de Kasimier. Lors du vote du , il se présente donc face à Albrecht, mais ne recueille que 75 voix contre 79 à son opposant chrétien-démocrate.
Les défaites électorales de 1978 et 1982
Réélu député fédéral en puis reconduit au gouvernement deux mois après, il est relevé de ses fonctions au cours du remaniement ministériel du , cédant ses fonctions à Dieter Haack.
Il postule alors aux élections législatives régionales du en Basse-Saxe. Le Parti social-démocrate enregistre une perte de 129 100 voix, soit 0,9 point de recul, et engrange cinq nouveaux députés, totalisant 72 sièges sur 155 et 42,2% des voix. Le FDP n'ayant pas maintenu sa représentation parlementaire, la CDU d'Albrecht remporte une majorité absolue de 83 parlementaires avec 48,7% des suffrages exprimés. Démissionnant du Bundestag, Karl Ravens devient président du groupe SPD au Landtag.
En , les fédérations locales du SPD sont unifiées en une seule fédération régionale, dont il prend la présidence.
Il se représente comme chef de file social-démocrate lors des élections législatives régionales du . Abandonnant 197 300 voix, le SPD s'effondre à 36,5% des voix et perd neuf députés. Il se contente d'un groupe parlementaire de 63 sièges sur 171, tandis que l'Union chrétienne-démocrate remporte un succès inédit et jamais égalé avec 50,7% des suffrages exprimés et 87 parlementaires. Il se maintient à la tête des députés mais cède la présidence régionale du parti à Joke Bruns en .
Retrait de la vie politique
Pour les élections de , la direction fédérale du SPD lui préfère Anke Fuchs comme chef de file, mais une fronde régionale permet l'investiture du député fédéral Gerhard Schröder.
Ravens est cependant réélu une dernière fois au Landtag, où le Parti social-démocrate manque d'un seul siège de faire basculer la majorité avec le soutien des écologistes. Schröder lui succède comme président du groupe parlementaire et le choisit comme vice-président de l'assemblée.
Il ne se représente pas au scrutin de et quitte ainsi la vie politique après 29 ans de mandats électoraux.
