住友家初代総理人・広瀬宰平（ひろせ さいへい、1828年 - 1914年）が1877年（明治10年）に現在の久保田町に建築した建物を、1887年（明治20年）に現在地に移築し、その後増築、造園を行った。
1970年（昭和45年）に遺族より新居浜市に寄贈され、公園として整備された。1997年（平成9年）に、広瀬の業績やその生活ぶりを後世に伝えるため広瀬歴史記念館が設置された。
約3ヘクタールの庭園は、亀池（中之町池）ゾーンと桜園ゾーン、広瀬歴史記念館の展示館ゾーンと旧広瀬邸ゾーンの4箇所からできている。旧広瀬邸と展示館は有料であるが、それら以外は無料である。亀池の中には亀島（千歳島）が配されていて、銅製弁財天像が祀られていたが、展示館設置に際し、池に面した出窓に移設され、池に向かうように収蔵されている。
公園は1968年（昭和43年）3月8日に愛媛県指定名勝に、2018年（平成30年）2月13日には国の名勝に指定され、指定名称は「旧広瀬氏庭園」である。公園内の旧広瀬邸は「旧広瀬家住宅」で、2003年（平成15年）5月30日に国の重要文化財に指定された。
隣接して桃山学院短期大学があったが、1992年（平成4年）1月27日に閉校し、校舎は現在、新居浜市高齢者生きがい創造学園として利用されている。
