Dans les années 1740, Lyttelton et Gilbert West se rendent à Oxford pour étudier deux aspects du christianisme dans le but de démontrer leur fausseté. Lyttelton souhaite démonter que Paul de Tarse ne s'est pas vraiment converti au christianisme, alors que West veut démontrer que Jésus-Christ n'est jamais revenu d'entre les morts. Chacun a prévu étudier son sujet pendant une année complète. Durant leurs études, ils épousent les valeurs du christianisme et ne peuvent démontrer leur hypothèse initiale. West rédige Observations on the History and Evidences of the Resurrection of Jesus Christ. Lyttelton rédige un ouvrage d'une longueur conséquente intitulé Observations on the Conversion and Apostleship of St. Paul. in a Letter to Gilbert West, Esq. (Observations sur la conversion et l'apostolat de Saint Paul dans une lettre à Gilbert West, Esq.). En 1742, Lyttelton épouse Lucy, fille de Hugh Fortescue, laquelle meurt en 1747. Il épouse ensuite Elizabeth, fille du Field Marshal Sir Robert Rich (4e baronet) en 1749.
Dans les années 1760, il rédige Dialogues of the Dead (Dialogues avec les morts) avec Elizabeth Montagu. De 1767 à 1771, il rédige The History of the Life of Henry the Second (une biographie d'Henri II du Saint-Empire).
Pendant plusieurs années, Lyttelton dépense de sa fortune pour construire la propriété Hagley Hall, qui se trouve dans le Nord de Worcestershire, et son parc qui comprend plusieurs fabriques de jardin. Le bâtiment principal, dernière grande demeure construite en Angleterre qui s'inscrit dans le palladianisme, est conçue par Sanderson Miller.
