Situé au sommet du morro de Conceição, c'était l'ancienne résidence épiscopale de la ville, à côté de Fortaleza da Conceição.
Le premier prélat qui y résida fut le troisième évêque de Rio de Janeiro, D. Francisco de São Jerônimo, arrivé à Rio de Janeiro en 1702.
Lorsqu'il mourut, en 1721, avec la réputation d'un Saint, son corps fut inhumé à l'intérieur de la Chapelle du Palais.
Le bâtiment a été utilisé comme résidence jusqu'à ce que le siège de l'évêché soit transféré au Palácio São Joaquim, sur la Rua da Glória.
Plus tard, il a abrité le siège du Service géographique de l'armée et, répertorié par l'Instituto do Patrimônio Histórico e Artístico Nacional (IPHAN), il abrite actuellement le Musée cartographique, qui conserve certaines des plus anciennes cartes du pays.