Ramelow fue elegido diputado del parlamento regional del Estado federado de Turingia en 1999 como miembro del Partido del Socialismo Democrático (PDS; actual Die Linke). Ese mismo año fue elegido vicepresidente del grupo parlamentario del PDS en el parlamento regional, y posteriormente en 2001, fue elegido presidente del mismo.
En febrero de 2004, Ramelow fue elegido como candidato principal del PDS para las elecciones estatales de Turingia de 2004. En estas, el partido obtuvo su entonces mejor resultado en Turingia desde la reunificación de Alemania con el 26,1 % de los votos.
A partir de junio de 2005, Ramelow fue el principal negociador en las negociaciones de unificación entre el PDS y el WASG, una unificación que resultó en el nuevo partido Die Linke. En la elección del estado de Turingia en septiembre de 2009 fue nuevamente el candidato principal de La Izquierda, la cual se convirtió nuevamente en el segundo partido más grande con el 27,4% de los votos.
En 2003 salió a la luz que el Bundesamt für Verfassungsschutz (BfV) lo había tenido bajo vigilancia y había abierto un expediente sobre él debido a sus supuestos contactos con el Partido Comunista Alemán (DKP) durante la década de 1980. Supuestamente la vigilancia había sido detenida tras la entrada de Ramelow en el parlamento regional en 1999, pero en mayo de 2006, el Tribunal Administrativo de Weimar decretó que el archivo y los datos almacenados se debían dar a conocer. Se dio a conocer que en realidad el BfV había vigilado a Ramelow por muchos años más de lo que se creía.
Tras las elecciones estatales de Turingia en septiembre de 2014, Ramelow fue elegido por el parlamento regional como ministro-presidente de Turingia el 5 de diciembre de 2014, con el apoyo del Partido Socialdemócrata de Alemania y Los Verdes, que se habían unido a La Izquierda en una coalición. Este voto de confianza, que Ramelow ganó en segunda vuelta, marcó la primera vez que La Izquierda obtuvo el liderazgo de cualquiera de los estados de Alemania desde la reunificación del país en 1990.[3]
Tras las elecciones estatales de Turingia de 2019 Ramelow intentó ser reelegido, no obstante los partidos de la oposición lograron elegir a Thomas Kemmerich como nuevo ministro-presidente.[4] Tras la polémica desatada, el Parlamento reelegido a Ramelow un mes después dentro de un gobierno en minoría con el SPD y Los Verdes.[5]
El 1 de noviembre de 2021, Ramelow asumió como Presidente del Bundesrat. Con ello, se convirtió en el primer miembro del partido Die Linke en asumir este puesto.[6]
Después de las elecciones estatales de 2024 en Turingia, Die Linke sufrió una debacle, pasando de 29 diputados a 14. Esto se debió, en parte, a la aparición de la BSW, que contribuyó a atomizar aún más el voto de la izquierda. Como resultado, Ramelow renunció a la posibilidad de presentarse como candidato a la elección de Ministro-Presidente en el Parlamento. Finalmente, Ramelow dejó su cargo como Ministro-Presidente el 12 de diciembre de 2024, tras la investidura de Mario Voigt como Ministro-Presidente con el apoyo de la CDU, el SPD, la BSW y el respaldo externo de Die Linke al gobierno.
Luego de que el canciller federal, Olaf Scholz, perdiera una moción de confianza en el Bundestag, se convocaron elecciones federales para el 23 de febrero de 2025.[7] Die Linke partía de una posición muy débil, ya que las encuestas solo le otorgaban un 3% de intención de voto, dos puntos por debajo de la barrera electoral necesaria para entrar en el reparto de escaños proporcionales.[8] Debido a estas previsiones poco favorables, la formación decidió postular a tres de sus principales activos políticos en tres circunscripciones uninominales con el objetivo de lograr la cláusula del mandato básico.[9] Según esta cláusula, si un partido gana en al menos tres circunscripciones uninominales, puede acceder al reparto de escaños proporcionales incluso sin alcanzar el umbral del 5% de los votos.[10] Ramelow fue uno de esos tres candidatos y se postuló por la circunscripción uninominal de Erfurt – Weimar – Weimarer Land II.[11] Finalmente, logró la victoria en su circunscripción, aunque su triunfo ya no era imprescindible para la supervivencia de Die Linke en el Bundestag.[12] Esto se debió a un fortalecimiento del partido en las semanas previas a las elecciones, cuando algunas encuestas llegaron a otorgarle hasta un 9% de intención de voto. En los comicios, Die Linke obtuvo finalmente el 8.8% de los votos por lista y ganó en seis circunscripciones uninominales logrando 64 escaños en el Bundestag.[13]
Luego de las elecciones, y dado que Die Linke logró mantener su grupo parlamentario, le correspondía proponer un vicepresidente para el Bundestag, ya que hasta ese momento dicho cargo era ocupado por Petra Pau, quien se jubilaba tras 19 años como vicepresidenta del Bundestag, primero propuesta por el PDS y luego por Die Linke.[14] Ramelow fue propuesto por Die Linke para reemplazar a Pau en este cargo.[2]
