El castillo fue construido por el clan Keith, concretamente por John Keith de Inverugie, que había heredado las tierras donde se erigió en 1354, tras ser comprado a la familia Cheynes.[1] La torre Ackergill pudo haber sido construida por su hijo, pero fue mencionada por primera vez en 1538.[1]
Una leyenda cuenta la historia de una joven llamada Helen Gunn, que fue secuestrada por John Keith por su belleza. La chica se arrojó o cayó de la torre más alta para escapar de su secuestrador. Supuestamente su fantasma todavía se ve.[3] Esto fue a fines del siglo XIV o principios del XV y se dice que fue el verdadero comienzo de todas las disputas entre los clanes de los Gunns y los Keith que llevó al final a la llamada Batalla de Campeones (1478), un combate judicial que condujo a una masacre de los Gunns por los Keith en la capilla de St. Tear, en una aldea cercana.
En 1547, miembros del clan Sinclair atacaron y se apoderaron del castillo. María de Guisa, entonces regente de Escocia, otorgó la remisión de los Sinclair por esto y devolvió el castillo de Ackergill a sus dueños originales. No obstante, las rivalidades entre los clanes continuaron, con los Sinclair capturando nuevamente el castillo en 1556, por lo que nuevamente se les concedió la remisión.
En 1593, Robert Keith, hermano de William Keith, sexto conde de Marischal (que legítimamente poseía la torre), se apoderó de Ackergill por la fuerza, por lo que fue declarado rebelde, y el castillo fue devuelto al conde. En 1598, otro Keith, John Keith de Subster, atacó la torre en plena noche, sorprendiendo a sus ocupantes y capturando el lugar.
En 1612, los Sinclair adquirieron la Torre Ackergill una vez más, en esta ocasión usando medios legales, cuando Marischal lo vendió al conde de Caithness, que terminaría rindiendo el castillo en 1623.
En 1651, Oliver Cromwell pudo haber usado el castillo Ackergill para acuartelar a sus tropas durante su asedio al castillo de Dunnottar de Keith, cuando estaba buscando los Honores de Escocia. En 1676, John Campbell, segundo conde de Breadalbane, tomó posesión del castillo en pago de las deudas que le adeudaban los Sinclair.
John Campbell lo puso a la venta en 1699, y sir William Dunbar, de Hempriggs, lo compró. Los Dunbar comenzaron amplias renovaciones, incluida la adición de una extensión inclinada a la torre. A mediados del siglo XIX, el arquitecto David Bryce hizo nuevos arreglos bajo contrato de George Sutherland Dunbar, séptimo Lord Duffus.[1] En 1963, Maureen Blake, se convirtió en la octava baroneta de Hempriggs y en administradora principal del recinto, que vendió en 1986. El castillo sufrió dos años de trabajo de restauración antes de abrir como hotel exclusivo y lugar de negocios. Fue revendida en 2009 a la empresa AmaZing Venues, que la adquirió para reconvertir en hotel de lujo y centro para celebrar eventos y bodas, invirtiendo 2 millones de libras en sus respectivas mejoras.[4] Fue vendido en 2019 a la estadounidense Betsee Parker, volviendo a ser de uso privado.
