Sur le site, il y avait la maison des majorats des comtes de Salm. Au XVIe siècle, elle est la propriété du défenseur de Vienne, Nicolas de Salm. Son frère Hector la vend en 1559 à l'empereur Ferdinand, qui la laisse à son fils Charles. Quand sa nièce Élisabeth, l'épouse de Charles IX de France, revient à Vienne, la veuve acquiert la propriété et fonde en 1592 l'abbaye royale dont elle est la première abbesse. Après son dissolution par l'empereur Joseph II en 1782, les différentes sections du bâtiment sont divisées.
Une partie revient au banquier puis au comte impérial Johann von Fries, qui possède aussi l'ancienne maison des Salm-Hofkirchner. En 1783-1784, il fait démolir les bâtiments individuels et construit à leur place un nouveau palais construit pour lui et sa famille.
Le palais est considéré comme l'une des œuvres principales de l'architecte Johann Ferdinand Hetzendorf von Hohenberg, constructeur de la gloriette du château de Schönbrunn. La partie arrière du bâtiment faisant face à la Bräunerstraße est également construite comme un immeuble de rapport. À cette époque, le palais est le premier à avoir une façade de maison néo-classique à Vienne. Les contemporains trouvent la façade beaucoup trop simple, surtout parce que le palais est à proximité immédiate de la Hofburg.
Les deux fils de Johann von Fries, Josef et Moritz, sont d'importants mécènes. La galerie de peintures du palais contient 300 peintures et plus de 100 000 gravures sur cuivre. Il y a aussi une bibliothèque de 16 000 volumes et une importante collection de sculptures. Les concerts et les soirées qui se déroulent dans les salles de représentation sont célèbres.
Le palais devient en 1828 la possession du baron Georg Simon von Sina. Après la faillite de la banque Fries, Alphons Marchese Pallavicini le rachète en 1842 ; ses descendants l’habitent toujours, mais louent la majorité des appartements. La précieuse collection d'art Fries, l'une des plus importantes et des plus riches de Vienne, est vendue aux enchères. Deux institutions viennoises ont leur siège ici : le Wiener Rennverein et l'école de danse Elmayer dans l'ancienne écurie. En 1873, l'intérieur du bâtiment est reconstruit par le margrave Alexander Pallavicini dans le style de l'historicisme, en particulier l'escalier en pierre et les salles des fêtes. Le palais reste le théâtre de nombreuses fêtes au cours desquelles les Pallavicini exposent leurs richesses.
À l'époque, la simplicité révolutionnaire du classicisme est supprimée de toute la façade. La disposition régulières des vases est contraire au goût baroque qui prévaut à cette époque et met l'accent sur le centrage décoratif sur un seul point (comme le portail d'entrée d'un palais).
Le palais Pallavicini sert de décor au film Le Troisième Homme : il est la maison de Harry Lime, incarné par Orson Welles.
