Le bâtiment fut édifié au début du XVIesiècle pour le compte du cardinal Adriano di Castello. Le palais fut dénommé Palazzo Castellesi. L'architecture de style Renaissance est attribuée aux architectes italiens Bramante et Andrea Bregno. L'édifice s'élevait sur l'ancienne place Scossacavalli, avant l'ouverture de la Via della Conciliazione. Le palais Giraud-Torlonia fait face à un autre monument romain, le palais Della Rovere.
Le palais changea plusieurs fois de propriétaires. Après le cardinal Castello, s'installa, au cours du XVIIesiècle, la puissante famille Borghese. Plus tard, au XVIIIesiècle, une riche famille de banquiers d'origine française, les Giraud, dont l'un des membres, le cardinal Bernardino Giraud, en devint propriétaire. En 1820, les Giraud laissèrent la place à la riche famille Torlonia.
