Il est né le 5 mars 1607, le fils de Thomas Brudenell (1er comte de Cardigan) (c. 1593-1663) et de sa femme Mary Tresham, une fille de Thomas Tresham. Entre 1661 et 1663, il est nommé par le titre de courtoisie Lord Brudenell, le titre subsidiaire de son père.
Il succède à son père comme comte en 1663. Comme la plupart de sa famille, Brudenells et Treshams, il est un catholique romain. La dévotion de son père à cette foi est si ouverte qu'il est régulièrement poursuivi pour récusation. En 1613, les juges de paix locaux remarquent que seule leur considération personnelle pour la famille Brudenell a sauvé quatorze d'entre eux, dont les parents de Robert, de la prison. La famille de sa mère est profondément impliquée dans la Conspiration des Poudres[1].
Robert lui-même et son fils aîné Francis, en tant que deux des membres les plus influents de la noblesse catholique, deviennent inévitablement la cible d'informateurs, en particulier William Bedloe, pendant le complot papiste[2] : Robert se retire en France pendant un certain temps, tandis que son fils passe un an en prison[3].