Grgur, sa mère et son frère Đurađ Branković s'installent près de Vučitrn et Trepče au Kosovo. Après des années de négociation, ils parviennent à récupérer l'argent laissé par leur père Vuk à Dubrovnik, ce qui leur permet de recouvrer une grande partie de leurs terres. Mais ce retour sur la scène politique leur coûte leur liberté, ils sont obligés de prêter allégeance au sultan Bayezid Ier. Ils participent aux côtés des Ottomans à la bataille d'Ankara en 1402. Grgur est pris en otage par Tamerlan et son frère doit payer une forte rançon pour qu'il retrouve la liberté.
En 1406, lors d'un visite au nouveau sultan Mehmed Ier, Grgur est retenu en otage auprès du sultan, qui n'a vraisemblablement plus confiance dans la famille Branković. Son frère Đurađ repart quant à lui en Serbie. Après son retour en Serbie, quelques mois plus tard, Grgur décide d'abdiquer au profit de son frère. Il se retire comme moine dans le monastère de Hilandar, sur le mont Athos, sous le nom de Gérasime. Il meurt le .
