Silvester étudie l'orgue avec C. Spencer Heap en Angleterre, avant de s'installer au Canada en 1921, avec Lynnwood Farnam à Saskatoon. Durant les huit années passées là, il est organiste de la First Baptist Church et de la Knox United Church. Il déménage à Toronto en 1929, où il étudie au Conservatoire royal de musique de Toronto ; l'orgue avec MacMillan, la théorie et la composition avec Willan. Il est ensuite organiste de 1931 à 1938, à la Church of the Messiah et de 1938 à 1966 à la Bloor Street United Church, où il dirige le chœur dans de grandes œuvres. Au Conservatoire royal de musique, il sert de 1929 à 1946 d'abord, à titre de secrétaire des examens, puis il donne des récitals à travers le Canada. De 1942 à 1957, il est d'abord chef assistant et répétiteur, puis de 1957 à 1960 chef du Chœur Mendelssohn de Toronto. Au sujet de ses œuvres avec chœur, George Kidd écrit : « L'impression qui se dégage en est une de bonne discipline, d'une exacte compréhension et d'une sincérité qui se propage à toutes les parties[2] ».
Silvester a écrit nombre de petites œuvres chorales (éditées chez Harris) et des mélodies (éditées chez Western). Son choral Prelude on Rockingham a été enregistré par Eric Robertson[3]
Silvester a été le professeur d'orgue du pianiste canadien Glenn Gould.
