Les carmes fondent leur quatrième couvent de Bretagne à Pont-l'Abbé en 1383 sur la rive droite de la rivière de Pont-l’Abbé ; il n'en reste plus que l'église actuelle[1].
Elle est caractérisée par un clocher d'ardoise en casque construit en 1603[2], rare en Basse-Bretagne. Le plafond de la nef et de l'unique bas-côté sont lambrissés. La façade Ouest est éclairée d'une grande rosace, ainsi que celle du chevet qui repose sur une arcature de huit lancettes tréflées[1] de 7,20 mètres de diamètre datant du XVe siècle[3].
L'intérieur a été dépouillé de sa décoration du XIXe siècle et le maître-autel a disparu dans les années post-conciliaires, toutefois la chapelle Sainte-Anne, du côté nord, présente encore un rare retable de pierre du XVIIe siècle. L'église possède deux autres retables, celui en bois des saints Crépin et Crépinien (offert par la corporation des cordonniers) dans la chapelle Saint-Jacques et celui en bois des saints Côme et Damien (offert par la corporation des apothicaires)[4].
Le grand orgue conserve des tuyaux du premier orgue de 1666. Il date de 1966-1968 et est issu de la Maison Beuchet-Debierre, puis a été agrandi par la Maison Dargassies-Gonzalez en 1990, avec 43 jeux et trois claviers et pédaliers. Il se trouve en haut à droite du chœur.
La statuaire compte entre autres une Pietà en bois polychrome du XVIe siècle à gauche de l'entrée, une statue de Notre-Dame du Scapulaire, une statue de la Vierge en manteau bleu, une Vierge de l'Annonciation avec l'ange Gabriel en bois polychrome du XVIIe siècle, un saint Sébastien du XVIe siècle, le groupe sculpté du XVIIe siècle de bois doré de saint Joseph et de l'Enfant Jésus esquissant chacun un geste plein de grâce et de mouvement.
Un oratoire est consacré depuis 2016 au bienheureux Vincent L'Hénoret, martyr au Laos en 1961 et natif de Pont-l'Abbé.