Smith commence ses études auprès de Horatio Parker en 1895 à l'université Yale où il a pour ami Charles Ives et où il est nommé organiste à la Center Church (en) à New Haven. Il voyage en Europe et devient élève de Ludwig Thuille à Munich et de Vincent d'Indy à Paris. Il rentre aux États-Unis en 1902[1].
À son retour à New Haven en 1903, il enseigne la théorie de la musique à Yale et succède à Parker comme doyen de l'école de musique ainsi que chef d'orchestre de l'orchestre symphonique de New Haven (en). Il prend sa retraite de Yale en 1946.
Parmi ses compositions on compte un opéra, Merrymount; cinq symphonies (la dernière, son opus 99, publiée en 1947, des rhapsodies et des impressions pour orchestre, de la musique de chambre (dont dix quatuors à cordes), de la musique pour chœur, des hymnes, des chansons, deux concertos pour violon[2] et des cycles de chansons. Il est membre de la fraternité Phi Mu Alpha Sinfonia (en).
