Le palais a eu plusieurs propriétaires au fil des siècles. Au XVIe siècle, les Granacci ont combiné un certain nombre de structures en un palais et un jardin. Du XVIe au XVIIIe siècle, il était la propriété des Gaburri, avec Francesco Maria Niccolò Gaburri, avant d'être transmis à la famille Lotteringhi della Stufa. Au XIXe siècle, il a été possédé par le banquier Michele Giuntini, qui a commandé à un cycle de fresques ici. De 1857 à 1979, il a été possédé par les Vivarelli Colonna[1].
Le palais a comporté des fresques de Antonio Domenico Gabbiani, Pier Dandini, Alessandro Gherardini, et Giovanni Camillo Sagrestani, commandées par Gaburri. Au XIXe siècle, les fresques déployées au premier étage ont été complétées par Angiolo Angiolini, Luigi Catani, Gasparo Martellini, Giuseppe Collignon, Francesco Nenci, et Giuseppe Bezzuoli.
Le palais a un petit jardin à l'italienne orné d'une fontaine murale du XVIIIe siècle et d'une grotte installée par Gaburri représentant Orphée et sa lyre. Le jardin a été restauré juste avant l'an 2000. Le bâtiment est aujourd'hui propriété de la Ville de Florence.
