Il est le fils aîné de John Hay (1er marquis de Tweeddale) et de son épouse Jean, fille de Walter Scott (1er comte de Buccleuch). En 1666, à Highgate, à Londres, il épouse Mary Maitland, fille de John Maitland (1er duc de Lauderdale) et d’Anne Home, comtesse de Lauderdale (1616–1682). Cependant, Lauderdale s'oppose à Hay, qui est forcé de partir pour le continent et ne retrouve pas son poste avant la mort de Lauderdale en 1682.
Il est colonel du régiment de milice d'infanterie à Co Haddington (1668-1674) et à Linlithgow et Peebles (1682). Il est Burgess of Edinburgh (1668), commissaire aux frontières (1672-1684), commissaire aux approvisionnements de Haddington (1678, 1685, 1690, 1704), Peebles (1678, 1685), Édimbourg (1690, 1704), Fife (1695, 1704), Berwick (1704); Colonel du East Lothian Regiment (1685), capitaine du cheval de milice de Haddington et Berwick (1689), conseiller privé (Écosse) (1689), shérif de Haddington (1694-1713) et commissaire de l'amirauté (Écosse) (1695)[1].
Il est également Lord Trésorier en 1695. Il succède à son père comme marquis en 1697.
Il est nommé lord haut-commissaire auprès du Parlement d'Écosse en 1704 et lord chancelier d'Écosse de 1704 à 1705. Il dirige le Squadrone Volante, mais a finalement soutenu l’Union. Il est l'un des 18 pairs représentants écossais nommés en 1707.
Son fils aîné, Charles (v. 1670-1715), lui succède comme 3e marquis. Lord John Hay (décédé en 1706), un fils cadet, commande le célèbre régiment de dragons, appelé plus tard Royal Scots Greys, à la bataille de Ramillies et ailleurs.
Il est élu membre de la Royal Society en 1666 mais est expulsé en 1685[1].