En 1894, François Héraly émigra au Canada où il resta jusqu'à la fin de sa vie. Là, au Québec, il rencontra et épousa la pianiste et professeur de musique Ida Héraly (née Campbell). De 1894 à 1897, il prit la direction de l'harmonie de Sherbrooke. Par la suite, il fut actif en tant que chef d'orchestre à Montréal.
Vers 1903, il devint directeur musical au parc Sohmer et a formé l'ensemble musical Tempérance de la paroisse de Saint-Pierre-Apôtre parmi les membres il y avait un jeune batteur nommé Wilfrid Pelletier. Il fut également professeur de musique tout au long de sa carrière et enseigna pendant un certain nombre d'années au Conservatoire national de Montréal. Parmi ses élèves notables, on compte Paul Pratt.
