Le Prinsenhof était utilisé par les comtes de Flandres au moins depuis 1366. Le site avait accueilli auparavant la résidence du financier Simon de Mirabello, qui avait été rachetée par le châtelain de Gand, et des chapelles dépendant de l'abbaye Saint-Bavon. On le nommait alors la hof ten Walle. Philippe le Bon, qui connaissait bien cette résidence pour y avoir résidé dans sa jeunesse la fit entièrement reconstruire. Les échevins de Gand participèrent en faisant déplacer le mur d'enceinte de la ville qui passait à proximité pour agrandir les douves de la cour jusqu'à l'ancien fossé de la ville. Comme celui-ci était relié aux canaux, on pouvait désormais venir à la cour en bateau et elle prit à cette époque son allure d'île palatine sur un lac artificiel. Un nouveau mur d'enceinte le protégea à partir de 1499.
Sur la berge, un petit palais fut construit pour accueillir la ménagerie ducale, et l'on appela vite la « cour des lions » (het Leeuwenhof). Elle était encore en activité au XVIe siècle puisque Charles Quint y fit envoyer en 1535 quatre lions qu'il avait ramené de Tunis.
Le palais servit aux festivités des deux chapitres de l'ordre de la Toison d'or qui se tinrent dans la ville. Au XVIe siècle, il servait alternativement de résidence princière et de prison pour personnages de marque. Pendant les troubles, on y enferma le frère du cardinal de Granvelle et le comte d'Egmont.
Faute d'emploi au XVIIe siècle, le Prinsenhof fit l'objet de tractations entre les Carmes de la ville qui souhaitaient y installer leur maison et la cour de Bruxelles. Ils finirent par obtenir les bâtiments de la ménagerie en 1649. Abandonnés au XVIIe siècle, les bâtiments furent tour à tour utilisés comme caserne, puis comme haras et même comme raffinerie de sucre. Ce qui en restait fut vendu à la ville en 1776 puis démoli peu à peu. Le nom de Prinsenhof désigne aujourd'hui le quartier de Gand où se trouvait le palais, depuis le Gravensteen, jusqu'au Rabot.