Sa famille, qui s'opposait à la prise de pouvoir de Cosme Ier de Médicis, a été exilée de Florence après la défaite de Montemurlo, néanmoins Baccio Valori put récupérer son patrimoine en devenant sénateur sous Ferdinand Ier de Médicis.
Baccio Valori, passionné par l'art, a été bibliothécaire de la Bibliothèque Laurentienne et président de l'Académie du dessin de Florence.
Il est l'initiateur de la décoration du palais familial avec les sculptures en hermès des personnages illustres florentins. À cette fin, il fait réaliser au sculpteur Giovanni Battista Caccini une série de quinze bustes pour la façade du Palazzo Valori, choisissant même certains personnages méconnus de son temps mais importants dans le milieu érudit qu'il fréquente.
Les sculptures n'ont pas la faveur du peuple comme en témoigne le surnom de l'édifice Palazzo dei Visacci (« Palais des Tristes Figures »).
Après la mort de Baccio Valori, en son honneur, sa veuve Virginia Ardinghelli fait déposer une stèle surmonté d'un buste pour l'atrium du Palais avec la copie du buste de Giovanni Battista Caccini, conservé aujourd'hui dans une collection privée.
