Il quitte les cadets de Villeneuve-sur-Lot afin d'intégrer le centre de formation du SU Agen en catégorie Crabos[3],[4].
Après ce bref passage à Agen, il s'éloigne du Lot-et-Garonne pour rejoindre les Reichels de l'US Dax[3],[4]. Il joue son premier match professionnel en , dans le cadre du Top 14 pour le déplacement chez le Stade toulousain[1],[6].
Après avoir évolué six saisons sous le maillot dacquois sous contrat junior, il retourne au niveau amateur pour y signer son premier contrat professionnel avec l'UR Marmande Casteljaloux. Pendant deux saisons en Fédérale 1, il manque de peu l'accession à la Pro D2. Il défend ensuite les couleurs de l'Avenir valencien pendant deux autres saisons[3],[4], échouant à une marche de l'accession en Pro D2 en 2012[2].
Baffou rejoint le CA Saint-Étienne à l'intersaison 2012, jouant à nouveau le haut du tableau en Fédérale 1[3],[7]. Après une année dans le Forez, il joue deux saisons au sein de l'US Romans Péage[3].
Il retourne à Marmande, sous le maillot de l'US Marmande en Fédérale 2 à partir de la saison 2015-2016[3],[8]. Baffou et l'USM font leur retour en Fédérale 1 à partir de la saison 2018-2019[1],[3].
