El Castillo Victoria fue construido en 1840 por Robert Warren para conmemorar el ascenso de la reina Victoria del Reino Unido al trono. El interior de la mansión fue dañado por un incendio en 1928 y restaurado por Sir Thomas Power, miembro de una conocida familia de destiladores de whisky. Sir Thomas rebautizó la mansión como Castillo Ayesha (flor en árabe) como la diosa que surgió de las llamas en la novela Ella de Rider Haggard.
En 1995 la familia Aylmer decidió convertir el Castillo Ayesha en un lugar de interés turístico, realizando varias restauraciones y modificaciones, como convertir los establos en un apartamento.[2] En el establo también se encuentra una galería artística en la que muchos artistas han expuesto sus obras.[3]
La cantante irlandesa Enya adquirió la mansión en 1997, por 3.800.000 € —superando la oferta de Michael Flatley—, y la rebautizó Manderley como la mansión de la novela Rebecca (1938) de Daphne du Maurier.
Debido a las amenazas de varios acosadores, Enya realizó una fuerte inversión en la seguridad de su hogar, instalando nuevas puertas de madera reforzada, alzando el muro de piedra de 41 metros de longitud a 2,7 metros de altura y añadiendo verjas de 1,2 metros en lo alto de algunas secciones.[4] A pesar de estas precauciones, a mediados de agosto del año 2005 hubo dos incidentes que vulneraron la seguridad de la mansión, y Enya estuvo presente en ambas (su sistema de seguridad incluye una habitación de pánico).