Les bâtiments du XVesiècle sont les vestiges du palais de l'évêque de Lincoln. Bien qu'il soit souvent indiqué qu'il a été construit au XVesiècle, le premier palais (en bois) est en fait construit à la fin du XIIesiècle, lorsque les archives montrent qu'il est utilisé pour abriter les évêques de Lincoln. Par la suite, la structure en bois est remplacée par des bâtiments plus substantiels et une haute tour de briques est ajoutée en 1475, protégée par des murs et un fossé, et entourée d'une cour extérieure. Certaines parties du complexe sont démolies en 1632 sur ordre des commissaires ecclésiastiques. La maison victorienne aujourd'hui présente sur le site est construite en 1872.
Il ne reste maintenant que peu de vestiges du palais des évêques, à l'exception de la grande tour, de la porte intérieure, une partie du mur crénelé, qui entourait la cour intérieure à l'intérieur des douves, et la porte et le mur extérieurs. Le , Henry, duc de Suffolk et son frère Lord Charles, sont morts ici de la Suette. Ils étaient venus à Buckden pour éviter la maladie à Cambridge [1].
Dans les années 1630, l'évêque Williams occupe Buckden, recevant ses voisins avec des démonstrations d'hospitalité somptueuses.
L'antiquaire Edward John Rudge publie une histoire, un compte rendu illustré et historique du palais de Buckden, en 1839.
Les missionnaires clarétains reçoivent le site de l'évêque catholique romain de Northampton en 1956. Initialement, il s'agit d'un Petit Séminaire réalisant la formation préliminaire des jeunes de 11 à 18 ans aspirant à devenir prêtres ou frères missionnaires clarétains. Le Petit Séminaire ferme ses portes en . Depuis lors, le complexe est développé par les Clarétains comme Centre de Retraite et de Conférence. L'Église catholique de Saint-Hugues de Lincoln se trouve également sur le site, qui se dresse sur le site de la grande chambre du palais médiéval et est à l'origine construite comme chapelle pour le petit séminaire.