La primera mansión que se construyó en el sitio del castillo Charleville fue de Thomas Moore alrededor de 1641. La propiedad pasó por manos de Charles Moore, Lord Tullamore, nieto de Thomas, que pasó a manos de su hermana Jane Charles William Bury en 1674, cuando falleció sin dejar descendencia. En el año 1806, Charles William recuperó el condado de Charleville, como segunda creación del título. El nuevo conde decidió construir una nueva casa en la finca. Encargado en 1798, fue diseñado por Francis Johnston y fue construido entre los años 1800 y 1812.[2]
El castillo no fue ocupado continuamente debido a la falta de recursos de sus propietarios. Cada reapertura resultó en la adición de nuevas habitaciones o reformas. Esto incluyó la participación de William Morris, quien diseñó el techo dentro del comedor. El castillo acogió a Lord Byron, quien celebró muchas fiestas aquí. La casa alguna vez contó con una pintura de 1789 llamada Henry VIII, Act V, Scene 4, pintada por el artista inglés William Peters, que después de haber sido retirada de la casa en 1970 pasó a formar parte de una colección canadiense.[3]
El castillo permaneció deshabitado desde 1912 cuando el coronel Howard Bury se fue a vivir a Belvedere House, en el condado de Westmeath.[2] En 1968 se quitó el techo. El trabajo de restauración fue iniciado por Michael McMullen en 1973 y más tarde completado por Constance Heavey Seaquist y Bonnie Vance. Se formó una fundación benéfica para ayudar con la restauración.[4]
