Il est désigné à ce poste le et quitte la chancellerie cinq jours plus tard. Le il est élu président de la fédération PO de la voïvodie de Grande-Pologne contre Waldy Dzikowski.
Le parti le désigne par la suite tête de liste dans la circonscription de Poznań en vue des élections législatives du 9 octobre 2011. Il remporte lors de ce scrutin 40 510 voix préférentielles, se classant deuxième de sa liste après Dzikowski. À l'ouverture de la législature le , il succède à Tomasz Tomczykiewicz comme président du groupe parlementaire.
Pour les élections législatives du 25 octobre 2015, il cède la tête de liste dans la circonscription de Poznań au champion olympique de lancer de marteau Szymon Ziółkowski. Il recueille tout de même 29 122 votes préférentiels, soit 640 de moins que Ziółkowski. Remplacé le par Sławomir Neumann à la direction du groupe parlementaire, il est porté à la présidence de la commission parlementaire de l'Éducation, de la Science et de la Jeunesse quatre jours plus tard. À l'ouverture de la VIIIe législature, Rafał Grupiński est le seul président du groupe PO à avoir exercé cette responsabilité sur l'intégralité d'une législature, complète ou non, depuis 2001.
