Rylands naît à Down House à Tockington dans le Gloucestershire, fils de Thomas Kirkland Rylands, agent de la Couronne, et de Bertha Nisbet Wolferstan née Thomas[1]. Son grand-père est l'homme politique libéral Peter Rylands[2]. Il poursuit ses études à Eton puis au King's College (Cambridge),
. Il est fellow de King's de 1927 jusqu'à sa mort. À Cambridge, il devient ami de John Maynard Keynes, étudiant puis fellow à King’s[3]. Il fait aussi la connaissance de Cecil Beaton.
Lorsqu'il étudie Shakespeare, il commence à s'impliquer dans le théâtre. Il met en scène et joue dans nombre de pièces de la Marlowe Society, et il est président du Cambridge Arts Theatre de 1946 à 1982[4].
L'anthologie de Rylands de 1939 à propos de Shakespeare Ages of Man est la base de la pièce de John Gielgud, Ages of Man. Rylands dirige des productions de Cambridge, il dirige Gielgud dans La Duchesse d'Amalfi et Hamlet à Londres en 1945[5].
Il est fait commandeur de l'ordre de l'Empire britannique (CBE) en 1961 et compagnon d'honneur (CH) en 1987[4].
