Il vient d'une famille sportive, avec cinq frères jouant au cricket de première classe, Alfred, Charles, George, Arthur et Robert. Son père, George Lyttelton (4e baron Lyttelton), est un aristocrate britannique et un homme politique conservateur. Son beau-frère, Cyril Alington, est un érudit qui a écrit plus tard un livre intitulé Edward Lyttelton: An appréciation.
De 1880 à 1882, Lyttelton travaille comme maître adjoint au Wellington College, puis au Collège d'Eton, période pendant laquelle il est ordonné en 1886 après avoir résidé au Cuddesdon College. Il est nommé directeur du Haileybury College en 1890, où il reste jusqu'en 1905. Lyttelton est chanoine de la cathédrale St Albans de 1895 à 1905.
Entre 1905 et 1916, il est le maître en chef du Collège d'Eton[2]. Pendant son séjour à Eton, Lyttelton poursuit les réformes introduites dans le programme par son prédécesseur Edmond Warre(en), qui ont permis aux garçons d'entrer à l'école sans avoir fait de grec et de se spécialiser en mathématiques, en langues modernes, en sciences ou en histoire. Ses principes chrétiens rendent sa position difficile après le déclenchement de la Première Guerre mondiale, en particulier après avoir prêché un sermon à l'Église Sainte-Marguerite de Westminster, en , dans lequel il disait que toute la nation allemande ne devrait pas être condamnée et que tout règlement de paix devrait être généreux. Cela conduit à une tempête de protestations publiques et peut-être en partie à la démission de Lyttelton en 1916.
Il abandonne la maîtrise de l'école et travaille sur ses problèmes spirituels en tant que curé de paroisse, devenant en 1917 vicaire du Rév. Richard "Dick" Sheppard à St Martin-in-the-Fields puis de 1918 à 1920 comme recteur de la petite paroisse de Sidestrand à Norfolk. Il devient doyen du Whitelands College, Chelsea, un collège de formation des enseignants pour femmes, en 1920, agissant comme aumônier et conférencier sur la Bible. Il prend sa retraite en 1929 après une opération sérieuse, à Norwich où il est chanoine honoraire de 1931 à 1941.
Edward (à droite) et son jeune frère Alfred à Eton, vers 1872
Batteur droitier d'ordre intermédiaire, Lyttelton a connu sa meilleure saison en 1878 en amassant 779 points à 29,96, aidant Middlesex à terminer en tant que champions communs [3]. En plus de l'université de Cambridge et du Middlesex, il a également représenté l' équipe de cricket Gentlemen, I Zingari, le Marylebone Cricket Club et l'équipe de cricket du sud de l'Angleterre [4].
La seule sélection comme international de football de Lyttelton est lors d'une défaite 7–2 contre l'Écosse le [5]. Il participe également à la finale de la FA Cup 1876 avec le Old Etonians FC, en tant que défenseur, qu'ils perdent contre les Wanderers. Lorsqu'il est choisi pour l'Angleterre, il représente l'Université de Cambridge.