Le palais a été construit vers 1700 en style baroque par un constructeur inconnu pour Karl August von Damian, un riche marchand de bois, avec à l'origine des arcades ouvertes et un toit plat, comme palais avec jardin. En 1774, sous la direction du nouveau propriétaire Daniel von Zepharovich, Liborius Thaddäus Gerl ajouta un étage et deux ailes furent ajoutées sur le côté, créant ainsi une cour. Les arcades étaient fermées et le palais était entouré d'un mur. L'éditeur Moritz Szeps, dont l'épouse dirigeait un salon littéraire, y vécut de 1885 à 1897. La municipalité de Vienne est propriétaire du palais depuis 1936. Pendant la Seconde Guerre mondiale, le chœur des Petits chanteurs de Vienne a loué le palais. Aujourd'hui, c'est le siège de la KOBV - l'association des personnes handicapées de Vienne, de Basse-Autriche et du Burgenland.
