Victor Tercelin est le fils du banquier Augustin Tercelin, président du tribunal de commerce de Mons et chevalier de l'ordre de Léopold, et de Thérèse Sigart. Il épouse Émerence Monjot, fille de l'imprimeur-libraire Charles Louis Monjot et petite-fille de Jean-François Gendebien.
Victor Tercelin succède à son père en tant que banquier. Il est administrateur des Houillères Réunies de Quaregnon, de l'Union des papeteries du Prince et Pont d'Oye, des Chemins de fer vicinaux dans la province de Brabant, de la Compagnie de chemins de fer secondaires, du Crédit général de Belgique, des Phosphates de Chaux du Sud de Mons, des Chemins de fer de Naples, de la Belgo-Allemande des Phosphates de la Lahn, d'Éclairage du Centre, des Tramways de Cologne, des Tramways siciliens, des Chemins de fer du Sud-Ouest brésilien, etc.
Il devient également vice-consul de France.
En 1871, il succède à Henri Tellier comme sénateur de l'arrondissement de Mons et conserve ce mandat jusqu'à sa mort. Il devient secrétaire de la Chambre haute.
