El palacio fue construido en el siglo XVI, cuando se encontraba en la baronía de Francisco Altarriba. Permaneció en la familia, hasta por lo menos principios del siglo XVII, cuando Juan Bautista Labaña relata que pertenecía a Pedro de Altarriba, señor de las baronías de Huerto y Alpuente.
A finales del siglo XV recayó matrimonialmente en los Díez de Aux, quienes mantuvieron una lucha de bandos con los Foces, señores de Ballería, lo que hizo que el castillo sufriera desperfectos y reformas en ese siglo aunque posteriormente volvió a la familia de los Altarriba de Huerto en el 1591[3] para posteriormente en el siglo XVII pasar por herencia a pertenecer a la familia Moncayo, marqueses de Coscojuela de Fantova y posteriormente en el siglo XVIII
a los Pignatelli, condes de Fuentes y más tarde duques de Solferino.[1][4]
Los condes de Fuentes donaron el edificio a la parroquia, que lo convirtió en una abadía. La abadía se mantuvo hasta principios de la Guerra civil.[2]
En el siglo XX el edificio pertenecía al obispado de Lérida, que dejó decaer el edificio. En 1995 pasó a pertenecer al obispado de Barbastro-Monzón dentro de la reorganización de ambas diócesis y el conflicto de los bienes de la Franja.[5]
En mayo de 2005 se incluyó en la lista de castillos Bienes de Interés Cultural, publicado en el Boletín Oficial de Aragón del 22 de mayo de 2006.[6]
En 2010 el obispado retiró el tejado para evitar el hundimiento y desde entonces se están hundiendo las plantas del interior.[2] La Iglesia entregó en 2023 la propiedad al ayuntamiento de Ilche, tras una solicitud en 2022 del alcalde Pedro Peropadre y los permisos de la Santa Sede.[5] A 2024 el edificio se encuentra en abandono y el interior está inhabitable.[2]
