Il est élevé à Crabbet, dans le Sussex, juste à l'est de l'actuelle ville nouvelle de Crawley, dans l'hôtel particulier bâti par ses grands-parents maternels sur les terres de la célèbre ferme de chevaux arabes de Lady Anne Blunt. Il étudie à l'Académie royale militaire de Sandhurst, où il enseignera plus tard l'économie dans les années 1930. Durant l'entre-deux-guerres, il sert « comme administrateur et gardien de la paix » dans la région autour du lac Rodolphe (aujourd'hui le lac Turkana) au Kenya[1]. Quand le Royaume-Uni entre dans la Seconde Guerre mondiale, il est affecté en Afrique du Nord mais, à la suite d'un accident d'automobile qui le laisse invalide, il est affecté à un emploi de bureau, que son fils a décrit comme extrêmement frustrant pour quiconque est habituellement sportif et actif.
En tant que membre de l'administration gouvernementale, il est finalement envoyé en Italie pour travailler avec les partisans de Tito. Là, il rencontre également son épouse, Clarissa Palmer, fille du général de brigade Cyril Eustace Palmer R.A. Ils se marient en 1946 et ont cinq enfants : John Peter Michael, plus tard 5e comte de Lytton et 18e baron Wentworth, (Thomas) Roland Cyril Lawrence Lytton, Lady Caroline Mary Noel Lytton, Lady Lucy Mary Frances Lytton et Lady Sarah Teresa Mary Lytton. Lors de son installation à Exmoor, il enlève de son nom de famille « Milbanke », ne conservant que « Lytton »[1].
Il est l'auteur de plusieurs ouvrages[2], notamment une biographie de son grand-père, Wilfrid Blunt et une autobiographie sur sa carrière militaire, The Desert and the Green.
Noel Lytton succède à son père comme 4e comte de Lytton en 1951, et à sa mère comme 17e baron Wentworth en 1957. Ces titres passent à son fils, John Peter Michael Scawen Lytton, 5e comte de Lytton, à sa mort en 1985.
Un portrait photographique du 4e comte est exposé à la National Portrait Gallery.
