1892年（明治25年）に大坂屋三輪家第11代当主三輪潤太郎（実業家、衆議院議員も務めた）によって自邸裏手の丘陵地に別荘である楽山亭（らくざんてい）が建築され、造園が行われた。三輪家は江戸時代には大坂屋の屋号で信濃川の河川交通を利用した廻船問屋であり、米・塩・海産物を京都や大阪で販売し帰りの荷で反物・薬・書籍等を運搬する事で栄え、越後屈指の豪商としてその名が知られていた。また、三輪家は当主の潤太郎の実弟が洋画家の三輪越龍、甥は日本画家の三輪晁勢、その子息も同じく日本画家の三輪晃久と画家を多く輩出した事で知られている。
その後三輪家の家運が傾き一家で与板から移住すると北海道釧路市在住で郷里出身の両角氏に売却され、後に同氏から与板町へ寄贈された。1970年（昭和45年）に建物や庭の整備が整い一般公開されるようになる。
苑内には三輪家と親交の深かった良寛歌碑が2基建立されており、茶人松村宗悦によって造られた茶室積翠庵（せきすいあん）が復元されている（茶室本体は北方文化博物館に移築）。また観音堂もあり、こちらには十一面観音像が安置されている。この観音像は豊臣秀吉が朝鮮出兵の際に持ち帰ったもので新羅王朝期の作品だと言われているが実際は室町時代の作とされており、1891年（明治24年）に三輪潤太郎が奈良で購入して三輪家の護持仏としたものである（後に与板町へ寄贈される）。
