Au cours de sa vie, le père Caswall écrit de nombreux poèmes, marqués par la doctrine catholique. Il est principalement connu pour ses traductions du Bréviaire romain et d'autres sources latines. Plusieurs de ses traductions sont utilisées dans les Hymns Ancient and Modern(en), parmi lesquels Alleluia Alleluia Let the Rise Saint Anthem!; Come, Holy Ghost; Jesus, the Very Thought of Thee; When Morning Gilds the Skies; et Ye Sons and Daughters of the Lord.
Ses publications les plus importantes sont Lyra Catholica (Londres, 1849), Le Masque de Marie (1858) et Un mai historique et autres poèmes (1865). En 1873, est également publié Hymnes et Poèmes (1873), une réédition des trois premiers livres combinés, avec un grand nombre d'hymnes réécrits ou révisés.
