Pedersen fue miembro del Consejo Municipal de Helsinge (actualmente perteneciente al municipio de Gribskov) desde 1974 hasta 1986, siendo alcalde del mismo desde 1978.
En 1986 se integró en el Gobierno de Dinamarca del primer ministro Poul Schlüter, siendo nombrado Ministro de Vivienda, cargo que ocupó desde el 12 de marzo de 1986 hasta el 9 de septiembre de 1987. Desde esa fecha, hasta el final de mandato de Schlüter, el 25 de enero de 1993, fue Ministro de Interior. Además, también fue Ministro de Cooperación Nórdica desde el 3 de junio de 1988 hasta el 18 de noviembre de 1992, y a continuación Ministro de Economía hasta el 25 de enero de 1993.
Pedersen dejó el gobierno con el nombramiento de Poul Nyrup Rasmussen como primer ministro, volviendo a él tras la victoria del líder de su partido, Anders Fogh Rasmussen, en 2001, siendo nombrado Ministro de Finanzas. Se mantuvo en el cargo hasta el 23 de noviembre de 2007, fecha del final de la segunda legislatura de Rasmussen. Con la nueva legislatura fue nombrado Portavoz del Parlamento, cargo que ocupa actualmente.
