Comenzó su carrera como corresponsal político para Europa 1 desde 1988 hasta 1992.[2]
En 1992, a instancias de Chirac, se unió a su partido, Agrupación por la República (RPR). Se convirtió en miembro de la Asamblea Nacional en las elecciones de 1993, donde formó parte de la Comisión de Asuntos Jurídicos, y, dos años más tarde, en alcalde de Troyes, una ciudad mediana al sureste de París.
Fue designado portavoz de la campaña de Chirac en las elecciones presidenciales francesas de 1995. Después de las elecciones, se convirtió en el primer secretario de Estado y portavoz del gobierno durante el mandato del primer ministro Alain Juppé y luego, tras una reorganización, en asesor político del presidente.
En el gobierno del primer ministro Dominique de Villepin, fue ministro de Ultramar de junio de 2005 a marzo de 2007 y, brevemente, ministro del Interior de marzo a mayo de 2007. Reemplazó a Nicolas Sarkozy el 26 de marzo de 2007 como ministro del Interior cuando este dejó el gobierno para presentarse como candidato presidencial.[3] Durante su periodo como ministro de Presupuesto en el gobierno del primer ministro François Fillon, de 2010 a 2011, Baroin gestionó con éxito expedientes controvertidos como la reforma del impuesto sobre el patrimonio, la reducción de la plantilla de funcionarios y la abolición del controvertido límite impositivo impuesto por Sarkozy para los ricos.
El 29 de junio de 2011, fue nombrado Ministro de Economía, Finanzas e Industria en el gabinete de Fillon, en reemplazo de Christine Lagarde tras su nombramiento como Directora General del Fondo Monetario Internacional En ese momento, fue uno de los tres candidatos discutidos para el cargo, junto con Bruno Le Maire y Valérie Pécresse. El nombramiento fue visto como un tributo a la presunta capacidad de Baroin para vender la austeridad al público francés y deshacer la política económica del opositor Partido Socialista. Durante su breve tiempo en el cargo, presidió las reuniones de los ministros de finanzas del Grupo de los Ocho cuando Francia ocupó la presidencia del grupo en 2011.[4]
Desde 2016, es profesor asociado de Macroeconomía, Geopolítica y Gestión de Crisis en HEC Paris.[5]