Quand Édouard Ier reprend possession de l'Agenais, en 1279, après le traité d'Amiens, il va entreprendre, vers 1289, de rendre navigable le Lot pour faciliter le transport des marchandises du Quercy vers Bordeaux. Il fait construire onze barrages, ou «payssières», sur le Lot à la fin du XIIIesiècle dans le bailliage de Penne, sur un parcours de 22 kilomètres[1]. Il a chargé son connétable à Bordeaux, d'Angolive, de mettre une somme de 10 000 livres à disposition de maître André pour mener à bien l'entreprise. La construction a été confiée à différents entrepreneurs, souvent des milites castri des environs, des bourgeois ou des ecclésiastiques. C'est ainsi qu'on voit les Lustrac se charger de la construction d'un barrage et du château. Les Paga construisent le barrage de Rigoulières, le curé de Trentels, Bernard de Podio, finance le barrage de la Grimardie. Ces travaux commencés en 1291 vont être réalisés rapidement pour un coût qui n'a pas dépassé 4 000 livres. Ils vont être arrêtés en 1294 quand Philippe le Bel saisi l'Agenais pour ne le rendre au roi d'Angleterre qu'en 1303[2].
Mais en 1311, à la demande du roi d'Angleterre une enquête est faite sur les barrages par Guillaume Cazes, juge d'Agen. Pour accaparer les droits de péage, les seigneurs des environs ont fait construire à proximité des édifices fortifiés[3].
Le roi ne réussit jamais à retrouver tous ses droits sur ces barrages. La guerre de Saint-Sardos puis la guerre de Cent Ans va rendre les possesseurs de ces tours de précieux alliés pour l'un ou l'autre adversaire.
En 1372, à la demande du duc d'Anjou, le château a été mis en défense par Raymond de la Pugeade. Face aux falaises des Roques-Gardillou, il se présente alors comme une tour, en pierre au premier niveau et en brique au-dessus, isolée par un fossé d'une enceinte en brique, et précédée d'un pont-levis.
Dans la seconde moitié du XVesiècle un escalier à vis est construit dans la cour. La maison forte appartient alors à la famille La Goutte, seigneurs de La Poujade[4]. Elle est agrandie pendant la première moitié du XVIesiècle. Une galerie de style Renaissance est construite sur la cour, probablement pour Jean de La Goutte[5], secrétaire du Roi.
Le deuxième étage est tronqué et les percements sont modifiés au XIXesiècle. Une grange-étable est construite sur l'arrière du château.
Frédéric Berthault, Alain Beschi, Olivier Ferullo, Jean-Philippe Maisonnave, Hélène Mousset, Vallée du Lot. Confluences en Lot-et-Garonne, p.123, 125-126, Le Festin, Bordeaux, 2007 (ISBN978-2-915262483)
Gilles Séraphin, Cahors et la vallée du Lot, Mercuès, p.109, Éditions Études et Communications (collection Guides Tourisme et Patrimoine), Cahors, 1990 (ISBN978-2-908707-00-7); p.112
↑Liste des barrages ou «payssières» construits entre Penne-d'Agenais et Montayral: - Penne-d'Agenais (Tour d'Escoute), - Saint-Sylvestre-sur-Lot (Château de Ferrassou), - Rigoulières, - Portalo, - La Grimardie, - Trentels (château de Lustrac), - Les Ondes, - Poiata (château de Lapoujade), - Saint-Vite et la payssière de Piis (château de Lamothe), - Montayral (château de Ladhuie), - Gaillardel.