Giovanni Giuseppe Milesi, un universitaire de la famille Milesi (Roncobello), s'est installé à Rome dans les années 1400 et a ordonné la construction d'un palais réunissant et superposant trois autres palais distincts qui sont restés sur place.
Milesi a engagé Polidoro da Caravaggio et Maturino Fiorentino pour peindre la façade avec des scènes mythologiques sur fresque. Monochromatiques (grisaille), comme il était de coutume au XVe siècle, les scènes étaient déjà détériorées lors du sac de Rome par les lansquenets en 1527. La réalisation de ces fresques, dans leur représentation sculpturale dynamique, a suscité beaucoup d'intérêt à l'époque, au point que Vasari les a décrites comme une « œuvre de beauté qu'aucune copie ne pourrait améliorer ». En 1576, Cherubino Alberti a été chargé de réaliser un masque d'or [1]au centre d'un feston soutenu par un putto qui a donné son nom à la voie devant le palais, mais est aujourd'hui complètement perdu. Marzio Milesi, en 1615, a vendu le palais aux Baccani et est retourné à Bergame.
De nombreux artistes ont copié ces peintures sur la façade, donnant ainsi lieu à des dessins de Golsius, Galestruzzi, Rubens et Maccari. Lors de la restauration de 2006, il a été possible de récupérer des éléments qui confirment la datation du palais au XVe siècle, mais aussi la présence d'une loggia, probablement détruite lors d'un tremblement de terre[2].
