Originalmente, la residencia fue una villa Biedermeier perteneciente a un notario vienés llamado Josef August Eltz. En 1850, fue comprada por el doctor Eduard Mastalier. Fue en Bad Ischl donde el emperador Francisco José I conocería a su futura esposa, la princesa Isabel de Baviera, cuando ésta visita la Villa Imperial junto a su madre la princesa Ludovica de Baviera y su hermana, Elena de Baviera, en el verano de 1853. El propósito de la visita era que el emperador se comprometiera con Elena, pero este prefirió a su hermana pequeña, la joven Isabel, de solo 15 años. Después del compromiso de Francisco José I con la Isabel de Baviera en 1853, la madre de Francisco José, la princesa Sofía de Baviera, compró la residencia como regalo de bodas para la pareja.
En los años siguientes, la villa fue modificada y ampliada en estilo neoclásico por Antonio Legrenzi. La parte central existente se amplió hacia el parque y la parte posterior de la residencia original se convirtió para formar la entrada con columnas clásicas y tímpanos. Fueron construidas dos alas dándole la forma de "E".
La villa está rodeada por un gran parque de estilo inglés, el castillo de mármol (que alberga la sección fotográfica de los museos regionales de Baja Austria desde 1978) y todos los edificios aledaños fueron diseñados por el paisajista de la corte, Franz Rauch. El actual edificio no se completó hasta 1860.
La mayoría de veranos, el emperador pasaba semanas en esta villa. Varios monarcas fueron invitados a la Kaiservilla y Francisco José celebraba, tradicionalmente, todos los años su cumpleaños el 18 de agosto. El 28 de julio de 1914, se firmaría en su despacho, en la sala oeste, la declaración de guerra a Serbia, lo que desencadenaría la Primera Guerra Mundial, la misma guerra que terminaría con el Imperio Austro-Húngaro. Francisco José no volvería a la Villa Imperial.
Francisco José murió en 1916 a los 86 años en el Palacio de Schönbrunn, en plena guerra, legando la propiedad a su hija menor, la archiduquesa María Valeria. La villa sigue siendo posesión de los Habsburgo-Lorena, dado que María Valeria estaba casada con el archiduque Francisco Salvador, de la rama Toscana, y que ambos renunciaron a sus pretensiones al trono imperial después de la caída de la monarquía. El actual propietario es el archiduque Marcos Manuel Salvador, hijo del archiduque Humberto de Austria-Toscana y nieto de María Valeria.
La villa y los jardines están abiertos al público durante el verano.
Alta Austria,
Austria
