徳島藩蜂須賀家に微禄しかあてがわれず、生活は困窮していたが、漢詩など学問好きで、博山と号する。このために藩主蜂須賀重喜に加増を求めたが、藩政改革の途中ということもあってか拒否される。宝暦11年（1761年）に重喜が江戸に参勤交代で上府した際、藩重役に再度加増を求めたが、やはり拒否された。しかし明和年中に現米950石を加増されて、1190石となる[3]。
京の儒者島津華山を招聘し、館内に「栖竜閣」を設けて住まわせ、一族家臣や近郷の同好の士とともに彼に師事した。長男の義智が宝暦12年9月21日（1762年）に30歳で義宜より先に没したため、次男の義根の教育を崋山に託した。
長男の義智の妻（琴和氏）は漢詩の才を知られており、当時の京都の代表的漢詩人・儒者である江村北海の『日本詩選』に侍女（小川氏）とともに自作の漢詩が選されている[4]。
