En 2009, il rejoint le nouveau parti Most–Híd, dont il devient vice-président. À la suite des législatives de 2010, le parti intègre le gouvernement d'Iveta Radičová, et Rudolf Chmel est nommé, le 8 juillet, vice-président du gouvernement, chargé des Droits de l'homme et des Minorités.