庭園から龍野城城下町越しに淡路島や瀬戸内海の島々を望める眺めの素晴らしさから当地を「聚遠の門」と呼んだ。その故事から浮堂は「聚遠亭」と命名された。現在この「聚遠亭」という名称は、庭園と建物を含む上屋敷跡の総称として用いられる場合が多い[1]。
浮堂は、心字池の上に書院造を取り入れた数奇屋風の様式で建設された茶室である。龍野市有形文化財の指定を受けている。
浮堂の隣には裏千家家元15世千宗室が命名した本格的な茶室「楽庵」が、さらにその隣には江戸時代中期に建設された藩主脇坂氏の別邸「御涼所」が建つ。それぞれの建物の周囲には回遊式や座視式の日本庭園が設けられており、庭園は連続し一体化している。
