L'histoire ancienne du bâtiment est pratiquement inconnue. Un donjon est construit sur les terres concédées à Thomas Randolph, 1er comte de Moray par le roi Robert Bruce en 1320. Cette structure a peut-être été rasée par les Anglais au XVIe siècle peut-être pendant le Rough Wooing en 1545 lorsque la ville voisine de Duns est incendiée[1] car la partie du bâtiment qui daterait de cette époque est évaluée comme datant du XVe au XVIe siècle par les historiens de l'architecture.
Le manoir et son château semblent être passés entre les mains de Patrick Dunbar (9e comte de March) après la mort de Randolph en 1332. Après la bataille de Halidon Hill l'année suivante, le manoir est concédé par le roi Édouard III d'Angleterre à Thomas de Bradestan. Il y a plusieurs changements de propriétaires par la suite[2].
Pendant la première guerre des évêques de 1639, le château abrite le général Alexander Leslie. Son armée est cantonnée à proximité et empêche les Anglais d'avancer en Écosse. Aucune des deux parties ne souhaite se battre et des négociations conduisent à la pacification de Berwick qui met fin à la guerre. En 1670, Sir James Cockburn achète le domaine et le bourg de Duns à Hume d'Ayton[1]. Le manoir est vendu à William Hay de Drumelzier, fils de John Hay, 1er comte de Tweeddale en 1698 et il est dans la famille depuis[2].
Le donjon d'origine aurait été incorporé au bâtiment, qui est agrandi en une structure en forme de L à une date inconnue. Il est remodelé peu de temps après son acquisition et à nouveau en 1791–1798 par l'architecte John Baxter. La maison est transformée en château gothique, en 1818-1822, par l'architecte James Gillespie Graham. Les boiseries intérieures sont sculptées par le célèbre sculpteur, Sir John Steell, pendant son apprentissage.
Il y a un parc accessible au public et deux lacs artificiels, le Hen Poo et le plus petit Mill Dam qui forment la réserve naturelle du château de Duns.
.svg){kind=small}
