Il continue à soutenir les libéraux tout au long des années du gouvernement de Lloyd George, mais est passé chez les conservateurs sous Stanley Baldwin au milieu des années 1920. Il n'a plus jamais occupé de poste gouvernemental. Plusieurs années plus tard, entre 1950 et 1961, O'Hagan est vice-président de la Chambre des lords. Il est resté major honoraire du Royal Horse Artillery (armée de réserve) et colonel honoraire du 4e (cadet) bataillon du Essex Regiment et du 6e bataillon du Essex Regiment (TA). En 1909, il prend le nom de famille de son grand-père maternel, Towneley, en plus de celui d'O'Hagan.
Lord O'Hagan épouse Frances Constance Maddalena, fille d'Edward Strachey (1er baron Strachie), en 1911. Elle est décédée en 1931. Il épouse en secondes noces Evelyn Violet, fille de Harry Thornton Ross et veuve de Henry Osbet Samuel Cadogan, en 1937. O'Hagan est décédé en , à l'âge de 79 ans, et est remplacé dans la baronnie par son petit-fils Charles Strachey (4e baron O'Hagan). Lady O'Hagan est décédée en 1965.
