Il se marie deux fois. Sa première épouse est Harriett Ives Barker, fille de Daniel Raymond Barker, qu'il épouse le . Leur premier enfant Ellen Joyce est une pionnière de l'émigration et le second Arthur de Cardonnel FitzUryan Rice, devient 6e baron Dynevor[1]. Francis Rice devient veuf le .
Il se remarie à Eliza Amelia Knox, première fille du révérend Henry Carnegie Knox, recteur de Lechlade, Gloucestershire, le .
En 1869, à la mort de son cousin, George Rice-Trevor (4e baron Dynevor), il hérite du titre de baron Dynevor car son cousin n'a que des sœurs et des filles . Il décède le à l'âge de 74 ans.
