Élu député à la Seconde Chambre des États généraux en , il prend la présidence des élus travaillistes de la commission des Finances à la suite des élections de .
Après les élections législatives de , il quitte le gouvernement le . Il devient alors président du groupe travailliste à la Seconde Chambre, qui totalise 45 sièges sur 150. Le , il est choisi comme nouveau chef politique du PvdA, en remplacement de Kok. Il est investi en conséquence tête de liste pour les législatives du .
Lors du scrutin, les travaillistes perdent la moitié de leurs députés et rétrogradent à la quatrième place des forces politiques. C'est une déroute historique depuis la création du parti en . Il renonce alors à l'ensemble de ses fonctions et se retire de la vie politique. Après l'intérim exercé par Jeltje van Nieuwenhoven, Wouter Bos lui succède.
Retrait de la politique
Melkert (à gauche) en tant que représentant spécial du Secrétaire général de l'ONU, avec l'Américain Joe Biden (à droite).
