Il est né à Meadowcroft près de Rochdale et grandit à Bury (tous deux aujourd'hui partie du Grand Manchester) et est le frère de James Kay-Shuttleworth, 1er baronnet et de Joseph Kay. Leur père, Robert Kay, de Rochdale, est un disciple de l'Union des congrégations non conformistes du Lancashire et en est le trésorier jusqu'en 1817[1].
Il est admis au Trinity College de Cambridge en 1839 et obtient un baccalauréat en 1844 et une maîtrise en 1847. Il est admis au Lincoln's Inn en 1844, et au barreau en 1847. Il devient un journaliste autorisé à la Cour de chancellerie et est l'auteur de Rapports de Kay et une partie de Rapports de Kay et Johnson au cours de la période de 1853 à 1858[2]. Il est devenu Conseiller de la reine en 1866.
En 1850, il épouse Mary Valence French, la fille de William French qui est maître de Jesus College de 1820 à 1849.
En 1883, il vit à Thorpe Abbotts à Brockdish, South Norfolk[3].
Sa femme est décédée en 1889 ou 1890 et il fonde la bourse Lady Kay en sa mémoire, ouverte aux étudiants de Jesus College, Cambridge qui ont l'intention d'entrer dans les ordres dans l'Église d'Angleterre [4].
