Vernon est né en 1824, fils aîné de Robert Smith (1800–1873) et petit-fils de Robert Percy Smith. Son père et son grand-père étaient tous deux députés. Son père change le nom de famille en Vernon au lieu de Smith en 1846, prenant le nom de sa propre mère, et est créé baron Lyveden en 1859. Il épouse, en 1823, Lady Emma Mary Fitzpatrick (décédée en 1882), fille et cohéritière de John FitzPatrick (2e comte d'Upper Ossory). Il succède à son père comme deuxième baron en 1873.
Il fait ses études au Collège d'Eton et à l'Université de Durham. Il entre dans le service diplomatique et est attaché à Madrid de 1846 à 1848, à Hanovre de 1848 à 1849 et à Berlin de 1849 à 1850. Il rentre chez lui en tant que secrétaire privé de Lord Seymour, commissaire des bois et forêts en 1850, puis secrétaire de son père pendant qu'il sert comme secrétaire à la guerre pendant un mois en 1852 et comme président de la commission de contrôle de 1855 à 1858. Pendant cette période, il se présente sans succès pour le siège parlementaire du North Northamptonshire en tant que libéral en 1857 et le siège du South Northamptonshire l'année suivante.
Lord Lyveden est juge de paix et sous-lieutenant du Northamptonshire.
