Au sommet du village, se trouve une motte féodale sur laquelle l’ancienne présence d’un château est avérée. Il est vraisemblable que celui-ci, probablement bâti avant le Xe siècle, devait être en bois dans la mesure où aucune ruine ni fondation ne subsiste de nos jours. Il est également vraisemblable que ce soit ce château du Haut Moyen Âge qui ait donné son nom au village, le toponyme Cayla venant du mot castellare qui, en bas-latin, désigne un château ou un site fortifié.
La petite église du village, rénovée et agrandie au XVIIe siècle, fut érigée autour de la chapelle du château. Sa partie la plus ancienne, datée du XIIe siècle, est décorée par des modillons romans, représentant des fruits et des têtes de personnages et visibles à l’extérieur, sous la corniche.
Les calades constituent une autre des caractéristiques de ce village pittoresque du sud Aveyron. La plupart des ruelles du village sont encore pavées à l’ancienne.
