Le palais, qui porte actuellement le nom de Palacio de Benacazón, fut probablement au XIVe siècle l'un des palais de Pierre de Castille, surnommé « le Cruel » par ses ennemis ou « le Justicier » par ses partisans, puis, vers la fin du XVe siècle, le siège du Tribunal du Saint-Office (l'Inquisition). En tout état de cause, son patio intérieur était appelé « patio des prisonniers »[1].
Au XVIe siècle, la propriété prend le nom de Palacio de los Pantoja, appartenant à Fernán Pérez de Pantoja, puis faisant partie de l'un manoir de la famille Pantoja. Le Palais appartint ensuit à la famille Gaytán de Ayala.
Il faut attendre le XXe siècle pour qu'Anastasio Páramo Barranco, baptise l'édifice Palais Benacazón ; l'homme a épousé María Dolores Pantoja Portocarrero Cataumber, une descendante des Pantojas.
En 1537, un Pantoja avait fondé le domaine de Benacazón dans la province de Séville. Sans enfant, légataire de tous les biens de sa femme par testament, Páramo commença à signer Anastasio Páramo y Pantoja Cepeda, en 1909 et à utiliser le titre de Comte de Benacazón, Seigneur de Mocejón (en) et Benacazón[2]. Un titre inventé car un tel comté n'a jamais existé. Néanmoins, il établit dans le Palacio une impressionnante collection d'antiquités liées à Tolède[1] et créa le « Musée Anastasio Páramo ». Le musée pris tellement d'importance que son créateur devint membre de l'Académie Royale d'Histoire.
Au cours de la guerre civile, les troupes républicaines pillent et dévastent la propriété en l'occupant ; Páramo, est emprisonné à Madrid. Le palais est même bombardé en mai 1937 et laissé en ruines pendant près de 30 ans.
Dans les années 1960, le bâtiment fut un centre de consultation médicale[3].
La Caisse d'épargne provinciale de Tolède acquiert le bâtiment vers 1968, en le réhabilitant autant que possible.
Le palais est actuellement le siège de la Fondation Caja Castilla-La Mancha, un centre culturel où se pratiquent les arts de la scène.