Jelena lui donna deux filles, mais il endura une tragédie, car sa femme et ses deux filles moururent simultanément toutes les trois dans des circonstances inconnues aujourd'hui. Cela le poussa à se retirer de la vie civile et à prendre l'habit de moine en 1364. Il se retira dans le monastère serbe de Hilandar sur le Mont Athos en Grèce sous le nom monastique de Roman.
Vie monastique
Monastère d'Aghiou Pavlou
En 1376, il devint un membre important du clergé serbe. Il voyageait beaucoup. Il fut conseiller de l'empereur Stefan Uroš V, de son frère Vuk, du prince Lazar, ainsi que de son fils le despote Stefan Lazarević.
Roman fut aussi le refondateur du monastère d'Aghiou Pavlou (en 1380) sur le Mont Athos qui, à l'époque, était complètement abandonné. La légende raconte que Pavla Ksiropotamski était le premier moine qui avait encouragé la conversion des Serbes au christianisme.
Il rénova totalement le monastère d'Aghiou Pavlou plus solidement que lors de sa fondation, planta des vignes pour lui donner une autonomie financière et fit construire un temple chrétien dans ses murs. Par la suite, les Branković considéraient le monastère comme un bien familial qu'ils devaient entretenir. Le prince moine mourut dans « son » monastère le .
