En cuanto a su arquitectura, tal y como la conocemos hoy en día, es fruto de las múltiples transformaciones llevadas a cabo desde el siglo XIX, debido a que formó parte del antiguo Hospital de la Caridad. Así, quedan dos etapas diferenciadas a tenor de las modificaciones habidas en los dos siglos. En el siglo XIX, tras la desamortización del Hospital de la Caridad, este edificio se destinó a diferentes instituciones; entre ellas, el Museo de Bellas Artes. De este, el recinto estaba dedicado a la casa del conserje y a la casa del conservador-restaurador (a partir de 1862), tomando el cargo Rafael Romero Barros y del que se conformaría la casa de la familia Romero de Torres.
El núcleo originario del recinto se conforma antes de 1862 y se fusiona con el llamado Pabellón de Cabildos de la Hermandad de la Caridad, actualmente el Museo de Julio Romero de Torres. A este núcleo pertenece la crujía formada por un zaguán, las dependencias anexas al patio interior de la vivienda y el jardín. Este jardín se estructura, en su primer tramo, a base de dos terrazas diferenciadas en altura, y en cuyo tramo final se encontraban las dependencias del Estudio y el Taller de Restauraciones.
El jardín principal quedaba cerrado, en la parte norte, por otro núcleo arquitectónico conformado por dos crujías de dos plantas. Este, a partir de 1862, estaba destinado a la vivienda del portero o conserje del museo. A su izquierda se habilitó un callejón abierto que comunicaba los dos patios. En este momento, además, se llevaron a cabo obras de embellecimiento.
Parece que el patio interior de la vivienda pudo estar abierto a las distintas habitaciones de la primera planta. Junto a esto se colocaron, con carácter decorativo, distintas piezas arqueológicas en las paredes y suelo del patio.
A finales del XIX y comienzos de este siglo, el recinto se iría liberando de las distintas instituciones que la conformaban, quedando solamente el Museo de Bellas Artes. Así, los espacios resultantes fueron idóneos para la incorporación de las colecciones, aunque todavía se echaba en falta espacio. Por ello, a lo largo del siglo se fueron adquiriendo algunas viviendas colindantes, idóneas para la ampliación del Museo y, de los intereses de la familia.
Podemos establecer dos ampliaciones producidas en dos momentos diferenciados:
El arquitecto Francisco Javier de Luque López modifica la parte dedicada a la vivienda del conserje y el callejón que comunicaba los dos patios. Los elevó con un segundo piso y eliminó el callejón. La parte baja quedó como Sala de Reuniones del Patronato, conectada a la casa por una puerta. Finalmente, esta parte se anexionó a la propia casa. La parte superior quedó, desde un primer momento, como parte habitable de la familia. Esta parte se modernizó en los años 50.
Francisco Javier de Luque dota al pabellón que cierra el jardín interior por el norte de una nueva fachada con un pórtico de doble arcada y atrio. El objetivo de esta intervención fue la de mejorar el espacio, dedicado al taller de restauraciones del Museo de Bellas Artes. Es probable también que Luque embelleciera el jardín, en la parte baja, creando parterres cerrados con ladrillo, diferenciados del jardín alto primitivo.
Después de la donación de las obras de Rafael Romero Barros al museo por la familia, se instalaron en la Sala del Patronato del Museo, quedando convertida en Sala Romero Barros. Aquí, Enrique Romero de Torres tendría su despacho de director.
Con la anexión de una casa por la calle Armas se crean nuevas salas expositivas. Es entonces cuando Rafael de la Hoz Saldaña amplía el antiguo Taller de Restauraciones para convertirlo en Estudio, dotándolo de una nueva fachada a dos aguas y anexándole un fragmento de la nueva parcela por la parte posterior.
De igual manera se construye una nueva planta sobre la crujía del pabellón de los dormitorios, para situar el nuevo Taller de Restauraciones, que quedaba abierta al exterior mediante arcadas a manera de grandes ventanales. Posteriormente, al caer en desuso, lo utilizaría la familia Romero de Torres como lavadero.
