El palacio fue construido en el siglo XVII por Francisco Antonio de Ceballos el Caballero y su esposa, Marina Jacinta de Padura Moreno, señora de las casas de Procura y Lopera en Jaén, a partir de una casa torre de sus antepasados.[1]
Las primeras noticias de que se tiene constancia dicen que en el siglo XIV eran propietarios de dicha torre Rui González de Ceballos y su mujer, Toribia Saiz de Arce, habiéndola heredado del padre de Rui, Diego Gutiérrez de Ceballos, XIV almirante de Castilla.[1]
Otras fuentes consideran que el palacio es probable que se asiente sobre un edificio medieval relacionado con la abadía o monasterio de San Andrés, del siglo XII, de la que tan sólo se conserva la iglesia, que en el año 1317 pertenecía a Diego Gutiérrez de Cevallos (Ceballos), quien debido a ser pariente mayor, era abad perpetuo y patrono de la iglesia y disfrutaba de diezmos y privilegios, quedando exento de tributos reales.[2]
Pese a que en 2002, se declaró a este palacio Bien Cultural de Interés Local (BCIL),[1][3] se utiliza como vivienda con cuadra para el ganado y aparcamiento de camiones. Se ha perdido la balconada superior y las puertas han sido cegadas y transformadas en ventanas, las almenas de alguna de las torres han desaparecido y el tejado corre riesgo de desaparecer.[1][4] En 2018, la asociación Hispania Nostra, centrada en el patrimonio en peligro de extinción, incluyó al palacio en la lista roja de patrimonio en peligro.[5]
