Le château de Sween doit son nom à Suibhne, (anglicisé en Sween), qui semble être le fondateur de ce château. Suibhne semble être un petit-fils de Hugues le splendide O'Neill qui meurt en 1047[3].
Au XIIIe siècle, le Clan MacSween, descendants de Suibhne, gouverne les terres qui s'étendent au nord jusqu'au Loch Awe et au sud jusqu'au château de Skipness sur le Loch Fyne[3]. Dans la seconde moitié du XIIIe siècle, les terres des MacSween en Knapdale passent aux mains du comte de Menteith[4].
Au moment de la guerre d'indépendance écossaise, les MacSween sont dans le camp des vaincus, et lorsque Robert the Bruce devient roi d'Écosse il leur retire leurs terres[3]. Après que Robert the Bruce a vaincu MacDougall Lord of Lorne en 1308, il assiège Alasdair Og MacDonald au château de Sween[5]. Alastair se rend et est déshérité par Robert Bruce qui offre Islay au frère cadet d'Alasdait, Angus Og, ^partisan loyal du roi[5] qui reçoit également le château de Castle de Sween[3].
En 1310, Édouard II d'Angleterre redonne à John MacSween et ses frères leurs territoires de Knapdale, (bien que le château de Sween soit tenu par Sir John Menteith)[4]. Il s'agit peut-être du rendez-vous d'une flotte contre le château de Sween, évoqué dans le Book of the Dean of Lismore[4], qui raconte l'attaque du château par John Mac Sween.
En 1323, après la mort de Sir John Menteith, les seigneuries d'Arran et Knapdale passe à son fils et son petit-fils[4]. En 1376 la moitié de Knapdale, dont le château de Sween, passe aux mains des MacDonald, seigneurs des Îles, sur décision de Robert II d'Écosse, beau-père de Jean Ier MacDonald[4].
Durant le siècle et demi au cours duquel les MacDonald possèdent le château, il est tout d'abord habité par les MacNeils puis par les MacMillans[6].
En 1490, le château de Sween est donné à Colin Campbell, par Jacques IV d'Écosse[6].
Dans les années 1640, au cours des guerres des Trois Royaumes, le château de Sween est attaqué et brûlé par Alasdair MacColla et les confédérés irlandais[6].
En 1933, le château est pris en charge par l'Historic Building and Monuments Directorate (HBMD)[7]. Actuellement il est sous la protection d'Historic Scotland[7].