Selon la chronique des évêques de Lausanne, le château a été construit sur ordre de l'évêque Berthold de Neuchâtel (1212-1220). L'un de ses successeurs, l'évêque Boniface l'aurait fait fortifier[1].
Il existe cependant une controverse, qui faute de travaux de recherche reste entière, sur le château qui est mentionné par la chronique des évêques de Lausanne, ainsi, ce récit de fondation pourrait concerner le Château de Villarsel-le-Gibloux.
Une guerre éclate en effet vers 1296 entre l'évêque et Louis Ier de Vaud, les sires Henri et Guillaume de Villarzel refusant de reconnaître le château comme fief épiscopal. La forteresse est un temps confisquée, mais rendue à l'évêque en 1316, même si le conflit entre les nobles de Villarzel et le pouvoir épiscopal n'est réglé qu'en 1335: les nobles de Villarzel doivent alors s'engager à ne construire ni château ni maison forte sur le molard du Châtelard[2]
Ne subsiste aujourd'hui de l'ancien château que la tour (6,75 × 6,75 m) qui marque la limite de l'ancien bourg. Elle est venue s'appuyer, probablement au XIVe siècle, contre l'enceinte primitive et faisait partie du dispositif général de défense du bourg. Les sujets de l'évêque devaient participer au maintien des fortifications, notamment en 1407, 1452 et encore en 1475. La destruction du château a eu lieu vraisemblablement avant 1536. Toutefois, d'importants travaux sont conduits à la tour en 1581-1582 par le maître maçon Jacques Bodmer, la tour est alors blanchie et on y évoque des prisons[3].
En 1665, les sources évoquent « grande tour quarrée bastie après la ruine et destruction dudit château ayant trois estages dont on se sert de grenier et au baz une forte prison pour les criminels; et le reste du chasteau est en ruine »[4].
En 1802, la tour est rachetée par la commune pour y loger les pauvres. Incendie en 1965, restauration en 1978[3]. Bâtiment classé monument historique en 1901 (note 1 au recensement architectural du Canton de Vaud)[5].
