Il est construit sur les marches de Bretagne comme un grand nombre de châteaux.
Hamon ou Hamelin Lenfant gentilhomme bien allié et puissant en biens, sénéchal de Meslay et vassal de Guy V de Laval, l'a servi dans toutes ses guerres; il a été son lieutenant dans les démêlés avec André de Vitré et avait reçu du baron de Laval, en récompense de ses services, la châtellenie d'Olivet et la belle maison du Bourg-Hersent..
Néanmoins, il perd la cédule qui lui en assurait la possession et Guy V s'en prévalut pour nier sa parole. Hamon justement irrité déclara la guerre à son suzerain et le bat dans un premier engagement, à la suite duquel le Bourg-Hersent fut brûlé. On se prépare de part et d'autre à un second combat, lorsque l'évêque du Mans, assisté de Guillaume de Fougères et de Pierre d'Anthenaise, intervient. Il est convenu que tout le passé serait oublié, même le don de Guy V cause de toute la querelle. Celui-ci garda le Bourg-Hersent et Olivet. Hamon se contenta d'exiger que Guy se charge d'indemniser les Juifs auxquels il avait emprunté pour les frais de cette guerre[1]; qu'un crédit de quatre ans lui fût obtenu de ses créanciers et que permission lui fût donnée de prendre dans la forêt de Laval le bois nécessaire à la réparation des dommages causés par la guerre à ses biens et à ceux de ses amis[2]
Le domaine d'Olivet appartient à André de Laval.
Il est détruit par les Anglais en 1428.
Jean Bocé est châtelain en 1518. Le château est reconstruit par François de Laval, évêque de Dol, qui a reçu de son père Guy XVI de Laval la châtellenie d’Olivet en 1547. François de Laval avait acheté le château de Launay-Villiers; il a fait rebâtir le Château d'Olivet dont il est aussi seigneur d'Olivet. « Il fit bâtir Olivet comme il est, dit l'avocat fiscal Jean Gesland, l'ayant acquis auparavant de Guy XVII de Laval, son frère naturel. Il fit aussi beaucoup de bien aux églises ».
Ce ne sera jamais une place forte. Les comtes de Laval y entretiennent un concierge protestant comme eux (1594-1652), ainsi que des capitaines (1652-1661) comme Louis de Cahideuc[3] et son fils Frédéric. Ils y viennent quelquefois.
Henri III de La Trémoille y passe en 1623 et s'y rencontre avec Urbain de Montecler, 1627. On y fait des réparations en 1635.
.svg){kind=small}
France
.svg){kind=small}
