Le palais a été construit en 1540, lorsque deux immeubles gothiques voisins du XIVe siècle ont été reliés et reconstruits en résidence de magnat. A cette époque, les propriétaires du nouveau palais étaient la famille Firlejow. Au XVIIe siècle, lorsque le bâtiment appartenait à la famille Zbaraski, il a été entièrement reconstruit afin de lui donner les caractéristiques élégantes qui étaient à la mode à l'époque et de le transformer en une résidence citadine représentative de la famille. Les travaux de construction ont été dirigés par l'architecte flamand Henryk van Peene, amené en Pologne par Jerzy Zbaraski. Une cour baroque à deux étages à arcades avec un patio et un hall d'entrée côté place principale ont été construits.
La reconstruction suivante de la résidence eut lieu dans les années 1778-1783 et fut réalisée sur ordre du propriétaire de l'époque, le comte. Eliasz Wodzicki. L'architecte Ferdynand Nax donna alors au palais les caractéristiques du premier style classique. Au cours des décennies suivantes, ses propriétaires changeèrent fréquemment. Y ont vécu, entre autres : les familles Potulickcy, Rostworowscy, Wiśniowiecki, Jabłonowscy et Radziwiłł. A la fin du XIXe siècle le bâtiment est devenu la propriété de la famille Potocki des armoiries de Pilawa. Sur leurs ordres, dans les années 1896-1898, la résidence fut restaurée, transformant l'intérieur des pièces du rez-de-chaussée et reconstruisant partiellement la cour intérieure. L'auteur de ces changements était l'architecte Karol Zaremba.
D'autres travaux furent réalisés dans le palais dans les années 1910-1912. De nouveaux escaliers ont ensuite été installés et l'intérieur du deuxième étage résidentiel a été reconstruit. Le premier étage conserve encore son caractère représentatif, mis en valeur par les éléments décoratifs des pièces à vivre. Après la Seconde Guerre mondiale, le palais fut rénové et reconstruit. Des pilastres corinthiens sur les façades, un portail en pierre et de riches décorations sculpturales couronnant le sommet de l'édifice (dont des cartouches d'armoiries) ont été conservés à ce jour[1].
Il abritait l'Institut Goethe.
