Il est construit en 1538 pour héberger l'hôpital Saint Jean de Latran.
Au XVIIe siècle, l'évêque Juan de Palafox y Mendoza l'emploie pour abriter le Collège de jeunes filles.
En 1871, l'avocat Espinosa Bandini acquiert une partie du bâtiment.
Son petit-fils Manuel Espinosa Yglesias en fait un musée qui porte le prénom de sa défunte femme et qui ouvre en 1991.
