Il est successivement ambassadeur en Espagne en 1525 pour traiter la délivrance de François Ier avec le cardinal de Tournon, puis ambassadeur en Angleterre en 1526, afin d'engager Henri VIII à épouser Marguerite d'Orléans, veuve de Charles, duc d'Alençon et ambassadeur à Rome où il obtient du souverain Pontife une dérogation temporaire à la clause du Concordat qui exceptait de la nomination royale les bénéfices déjà en possession de privilèges particuliers. Il est promu à l'archevêché de Bordeaux le , mais il cède son siège à son frère Charles dès 1530.
Il est créé cardinal-prêtre le et nommé évêque de Poitiers le . La même année, il revendique auprès de François Ier le bénéfice de prévôt commendataire de l'abbaye Saint-Martin de Vertou qui le lui donne en récompense de ses loyaux services, alors que Guillaume de Carné avait déjà été nommé. Il s'ensuit un long procès entre les deux bénéficiaires qui trouva son épilogue par la mort de Gabriel de Gramont.
En 1533, il négocie le mariage du duc d'Orléans avec Catherine de Médicis. À cette occasion, il détermine le pape Clément VII à se rendre à Marseille pour y rencontrer le roi de France ().
