元々は実業家の渋沢栄一が東京に有していた6つの私邸のうちの一つ（1878年に深川福住町に建築、1908年に現位置に移築）で、栄一の孫で元日本銀行総裁の渋沢敬三から1946年（昭和21年）に財産税として物納された建物を、大蔵大臣公邸、政府第一公邸として使用した後に共用会議所として使用したのが始まり[1]で、現在の建物は1993年に建物の老朽化に伴い改築された2代目である（初代の建物は、渋沢家の執事であった杉本行雄の尽力により、1991年10月に青森県三沢市の古牧温泉渋沢公園に移築された）。
講堂を含む大小の会議室を持ち、同時通訳が可能な国際会議室も存在する。その性質上、民間への開放・貸出しは行っていない（省庁がここで行う会議の一部は傍聴が許可されており、この場合に一般人も立ち入ることができる）。その他、レセプションのためのスペースや食堂を備える。
施設管理は財務省により行われており、2008年の財務大臣・中央銀行総裁会議(G7)でも使用された。
