Aunque no se conserven en pie restos arquitectónicos anteriores al siglo XVIII, la parcela que ocupa la casa fue el resultado de la unión, en el siglo XVI, del Palacio del Arzobispo de Tarragona y la casa de Guillem Dala, ambos inmuebles adquiridos por Ramón de Cardona. La casa de los Cardona, que acogió la visita del rey Felipe II, fue a parar a manos de la familia Fernández de Córdoba, duques de Sessa, que al residir en la corte de Madrid, abandonaron la casa, que llegó a finales del siglo XVIII en estado de ruina total. Entre 1772 y 1778 se edificó de nueva planta la residencia del Virrey de Cataluña y duque de Sessa, a cargo de los arquitectos Josep Rivas Margarit y Josep Gaig y el constructor y carpintero Perdro Armet. Tan solo seis años después de que acabaran la obras, en el año 1784, el Duque de Sessa alquiló su casa a "Rentas del Tabaco", el monopolio fiscal de tabaco que tantos ingresos generó para el Estado y la Corona.[3]
En el año 1799, el casal fue adquirido por Joan de Llarrard, cónsul de Dinamarca y banquero acomodado. Con el cambio de propiedad, la estructura del edificio sufrió importantes modificaciones: la supresión del escudo heráldico de los Sessa que coronaba el portal principal, el derribo parcial de la torre de la azotea y la sustitución de los arcos y las cubiertas de la escalera principal. Además, el inventario realizado con motivo del alquiler del edificio a "Rentas de Tabaco" rebela que gran parte de los elementos decorativos originales (pinturas, tapices, luces, mobiliario, etcétera) fueron retirados por el mismo propietario. Por esta razón, en el transcurso de la primera mitad del siglo XIX se procedió a una nueva decoración pictórica de muros y techos a cargo de Nicolau Planella y Joan Parés, cubriendo y/o haciendo desaparecer las pinturas originales, de artistas como Francesc i Manuel Tramulles y Josep Amadeu. Estas decoraciones decimonónicas, realizadas sobre tela y cartón, se localizan principalmente en tre grandes estancias de la planta noble alineadas a la Calle Ancha. Efectivamente, calas efectuadas en muros y techos demuestran la presencia de varias capas de pintura, todavía pendientes de estudio.[3]
En época de los Llarrard, se esculpieron su escudo heráldico situado en el portal de acceso de la planta principal y se procedió a la construcción de una nueva escalera hacia el segundo piso y un patio de luces en la zona sudeste para iluminar y ventilar las cocinas. Mientras la mayoría de forjados (de viga de madera y bovedilla) se mantienen de origen, los suelos, de mosaico hidráulico, fechan de la segunda mitad del siglo XIX, como los falsos techos y los tabiques que subdividen los antiguos salones de las plantas principal y segunda, desvirtuando su estructura original. En el año 1893 la familia Llarrard alquiló la casa a la Escuela Pía Calasanz, que efectuó a mediados del siglo XX numerosas reformas que contribuyeron a transformar, todavía más, la imagen y el funcionamiento originales del edificio. La Casa de los Llarrard queda deshabitada desde los primeros años del siglo XXI, cuando la Escuela Pía abandonó el edificio.[3]