Construit vers le XIIIesiècle par les seigneurs d'Ablon, le château est complètement détruit lors de la guerre de Cent Ans. Un autre château fort est reconstruit sur les mêmes lieux au XVesiècle, en surplomb de l'embouchure de la Seine. Il subsiste aujourd'hui de ce deuxième château une seule tour. Vers 1767, Jean-Baptiste de Brèvedent, décide de remanier entièrement le château, il fait enlever trois des tours, le pont-levis et les douves et le château est désormais fait de briques (au lieu de la pierre et du bois). Malheureusement, la nouvelle construction ne fut jamais achevée complètement puisque deux ailes devaient être ajoutées de chaque côté du château[1].
En 1862 Arcisse de Caumont précise "qu'il est toujours occupé par la famille qui porte le nom de la paroisse", donc la descendance des seigneurs d'Ablon[1].
Le château actuel peut être décrit comme une gentilhommière en briques roses d'époque Louis XVI, au cœur de la campagne normande, entouré d'un parc à l'anglaise d'une dizaine d'hectares avec cèdre du Liban tricentenaire, pavillon chinois du XIXesiècle, ferme, écuries et pigeonnier du XVesiècle, allée de tilleuls formant une perspective menant au perron du château, forêt de chênes et d'érables, verger. On note la présence rare de jardins à étages, éléments du parc couramment nommés hauts et bas jardins.
Les façades et toitures du château, la tour d'escalier de l'angle sud-est et le colombier font l'objet d'une inscription au titre des monuments historiques depuis le [1].
Le belvédère fait l'objet d'un classement au titre des monuments historiques depuis le [1]. Le château et le parc sont fermés au public.