Par la suite, le château n'est plus entretenu et tombe en ruine. Ses douves sont vendues aux enchères après 1546, à la suite de la décision du roi François Ier de céder toutes les terres innocupées du Domaine de Bretagne, et la démolition des ruines est décidée par le roi Henri II, mais le procureur du roi impose que le mur du côté de la rivière soit conservé, et il existe toujours.
Ses pierres ont été données en 1558 par le roi aux religieux de l'Abbaye Sainte-Croix de Quimperlé, possesseur de l'île de Belle-Île, pour construire le fort de Palais afin d'assurer sa protection contre les pirates anglais, le reste des matériaux est vendu aux enchères en 1559[2],[3].
Des religieuses cordelières (Franciscaines ou Clarisses) qui veulent s'établir à Auray se voient donner l'emplacement toujours inoccupé des douves sud, mais elles s'en plaignirent auprès du Parlement de Bretagne qui admit que la situation était trop éloignée du bourg, et ordonna à la Ville d'Auray de leur attribuer un meilleur emplacement. La ville d'Auray leur attribua en 1635 les douves ouest, ainsi que l'ancien emplacement du château pour y établir leur jardin, ainsi qu'un somme de 3 000 livres[2].
Une « rue Neuve » est créée le sur les douves nord. Quelques années plus tard, la rue est entièrement bordée de maisons et est nommée « rue du Château ». Outre quelques maisons en pans de bois, la rue est bordée de belles demeures adoptant le calcaire, matériau noble en vogue aux XVIIeetXVIIIesiècles.
Aujourd’hui, il subsiste quelques vestiges du château sur la rive droite du Loc’h: une tour ronde dite « tour du Talus » et trois contreforts qui supportaient le corps de logis du château, ainsi que deux rampes en descente vers le port Saint-Goustan.