Le Pont du Tarn, tel qu'il s'appelait à l'origine, a été construit entre 1035 et 1042. Les parties les plus anciennes visibles actuellement datent cependant du XIIIesiècle. Au départ, trop étroit, il ne permet pas le passage des charrettes. Les marchandises sont transportées à dos d'animal ou faix d'homme[2].
Au XIIIesiècle (probablement entre 1230 et 1240), le pont est reconstruit. Un péage est alors installé à l'entrée du pont[3], bien qu'il soit attesté que des droits étaient déjà prélevés dès 1193. Seules les marchandises sont taxées comme le mentionne le cartulaire d'Albi datant de 1245. Toutefois, le cartulaire précise que les juifs, vivants ou morts, sont taxés. Le prélèvement de droits, d'abord réservé aux vicomtes puis aux seigneurs évêques d'Albi, est par la suite une prérogative offerte aux consuls d'Albi en 1269[2]. Le pont contribue au développement urbain et commercial de la ville. L'argent ainsi collecté sert à l'entretien du pont mais aussi des remparts de la ville.
Au XVesiècle, des maisons sont construites sur les piliers du pont afin de rendre la structure du pont plus solide. Le pont Vieux ressemble alors au Ponte Vecchio de Florence. Ces maisons sont détruites après la crue de 1766[3].
En 1820, sa chaussée est redressée et élargie afin de permettre le croisement des charrettes timonières à quatre roues. L'arrière-bec des deux piles voisines de la rive gauche est prolongé vers l'aval tandis que l'arc en brique vient prendre appui sur les arrière-becs existants pour les autres piles. À l'amont, les avant-becs sont retaillés et leur partie supérieure est reconstruite afin de supporter des arcs en encorbellement. Le pont de pierre est également revêtu de briques[3].
En 2023, un important chantier de restauration a été lancé sur le Pont Vieux d’Albi, doyen des ponts routiers de France encore en service. Ce chantier, qui s’est déroulé sur 26 mois de mars 2023 à mai 2025, avait pour objectif de renforcer et d’étanchéifier la structure tout en rénovant la chaussée et les trottoirs. Des techniques artisanales de pointe ont été mobilisées pour nettoyer, rejointoyer et consolider les pierres du pont, avec le souci de préserver son caractère historique. La réouverture officielle du pont a eu lieu le 19 juin 2025, marquant la fin de cette phase de protection et mettant en valeur ce monument emblématique inscrit au patrimoine de l’UNESCO[4].