Fue el cuarto de los diez hijos de Roger de Gramont, que fue embajador de Luis XII en Roma, y de Eléonore de Béarn, señores de Bidache, en aquel entonces bajo soberanía del reino de Navarra.
Fue obispo de Couserans en 1524 y de Tarbes en 1524. Maestro de súplicas del rey Francisco I de Francia, ofició como embajador en España en 1525 con la misión de pactar la liberación del rey francés, que se encontraba preso tras su derrota en la batalla de Pavía, y en Inglaterra en 1526 para intentar componer el matrimonio de Enrique VIII (que en aquella época pensaba divorciarse de Catalina de Aragón) con Margarita de Angulema, aunque la boda no llegó a efectuarse. Después fue enviado a Roma como embajador del reino de Francia y en 1529 promovido a arzobispo de Burdeos, diócesis que cedió a su hermano Charles el año siguiente.
Clemente VII le creó cardenal en el consistorio de 1530 con el título de San Juan ante porta latina, aunque al año siguiente optó por el de Santa Cecilia. Fue obispo de Poitiers en 1532 y arzobispo de Toulouse en 1533.
Fallecido a los cincuenta años de edad en el palacio episcopal de Balma, cerca de Toulouse, fue sepultado en el castillo que su familia tenía en Bidache.
