L'origine du nom remonte à la famille de marchands espagnols de la Torre. On trouve :
- 1331 : le pont à côté duquel Jan van den Torre se tenait ;
- 1340 : au pont devant Jan van den Thorre.
La courte rue n'est en réalité que l'accès au pont de part et d'autre. La rue Torenbrug relie Oosterlingenplein à Gouden-Handstraat .
Ce lieu modeste a été témoin de nombreux événements historiques. Au fil des siècles, ses habitants appartenaient à la haute société citadine. Au XIXe siècle, la famille Serweytens y résidait. Au XXe siècle, le médecin et collectionneur d'art Antoine De Jaeger et son gendre Jan Bernolet y tenaient leur clinique ophtalmologique. Vers l'an 2000, le bâtiment fut transformé en résidence étudiante pour le Collège d'Europe.
En 1903, une élégante lanterne en fer forgé, posée sur un socle en pierre, fut installée au milieu du pont. La lanterne est munie de deux panneaux qui portaient à l'origine l'inscription : « passage interdit aux véhicules ».
Le 28 mars 2002, le Torenbrug a obtenu le statut de monument protégé.