天保2年（1831年）9月17日、伊勢久居藩主・藤堂高秭の四男として生まれる。弘化4年（1847年）3月7日に先代の古河藩主・土井利亨の養子となる。嘉永元年（1848年）11月8日、養父の死去により家督を継ぐ。同年11月15日、将軍徳川家慶に拝謁する。同年12月16日に従五位下・大炊頭に叙任する。隠居後は織部正に改めた。
藩政では西洋砲術の演習、武芸の奨励、片町教武所の創設などに尽力しているが、病弱だったために藩政を執ることが次第に困難となり、慶応3年（1867年）4月5日に家督を長男の利与に譲って隠居した。
明治24年（1891年）8月27日に死去[1]。享年61。