Il étudie à Eton et à l'école des Beaux-Arts de Paris. Durant la Première Guerre mondiale, Neville Lytton sert comme officier sur le front de l'Ouest et joue un rôle actif en particulier dans la Somme et à Amiens. D'après les témoignages contemporains[2], il est regardé comme «un gentleman de la vieille école» et sert «avec galanterie et distinction». Pour ses services, le gouvernement français lui remet la distinction de chevalier de la Légion d'honneur.
Peu après la fin de la guerre, l’Imperial War Museum et le musée de la Guerre, en France, acquièrent des exemples de son art, dont plusieurs ont apparemment voyagé avec lui[2]. Il est possible de voir une fresque de Lytton reflétant son expérience de la guerre exposée dans la salle de la Victoire du village de Balcombe (Sussex de l'Ouest)[3].
Il se marie avec Judith Blunt, plus tard baronne Wentworth, en 1899 dont il divorce en 1923. De cette union sont nés trois enfants, Noel Anthony Scawen Lytton-Milbanke, 4ecomte de Lytton et 17ebaron Wentworth, Lady Anne et Lady Winifred, héritage de leur grand-mère maternelle Augusta Ada Byron. Il se remarie avec Alexandra Fortel, française avec laquelle il a une troisième fille, Lady Madeleine Elizabeth Lytton, née en 1921 à Neuilly-sur-Seine. Le comte et sa seconde famille résidèrent en France à Paris, Rue du Val-de-Grâce[5].
Neville Lytton succède à son frère comme 3ecomte de Lytton en 1947. Son fils lui succède à son tour à sa mort, en 1951.
Madeleine Lytton, chorégraphe et danseuse de l'école d'Isadora Duncan, vécut à Paris. Elle y enseigna la danse libre. Elle se fit faire un enfant par Leonel Cardoso, amiral portugais. Naquit Éléonore, Isabelle, Armelle Lytton (née en 1957), dite Éléonore Beaulieu, et connue en France comme chanteuse et interprète de comédies musicales.
Madeleine Lytton mourut à Castres le . Sa fille Éléonore a épousé Pierre-François Pistorio, artiste du spectacle, en 2012.
Un croquis de profil du comte est exposé à la National Portrait Gallery[6].
