喜連川生まれで、秋元家は曽祖父の広伴の時代から喜連川藩に侍医・儒臣として仕えた家柄で、与助の代で4代目となる。喜連川藩の第9代藩主である煕氏に仕えたが、天保6年（1835年）に侍医を辞めて儒臣として藩に仕えている。煕氏の藩政改革に協力し、藩校の翰林館が設立されると、その教頭となって子弟の教育に務めた。
煕氏の死後、家老の二階堂貞明が失脚すると家老として藩政をとる。倹約や貧民救済、文学振興に務め、明治元年（1868年）には藩の権大参事となった。明治2年（1869年）に明治政府によって公議所が設立されると、公議人に任命され、公議所が集議院と改称されると集議員に任命された。この年の9月27日には文化人であることが広く知られていたため、明治天皇の御前で講演を務めている。版籍奉還後は全ての官位を辞して隠退し、以後は史書編纂などの文化活動に専念した。その関係で明治16年（1883年）に栃木県史誌編輯史料取調委員に任命された。
明治18年（1885年）3月16日に死去した。享年85。
晩年の著書は千以上になり、主な著作に『栃木県史』や『塩谷紀略』などがある。なお、与助は明治になって梅園と号したが、これは彼が梅が大好きで藩校に何本も梅を植えたことなどに由来するという。