常陸国真壁郡下妻村（現・茨城県下妻市）の人。天保6年（1835年）、旧下妻藩邸に生まれる。那珂通高に学び、経史を中心に学問を修めた。
明治元年（1868年）8月、公議所制度が布告されると公議人に選ばれ、諸藩の同職226人とともに公議所に出仕し、国事の審議に参加した。明治2年（1869年）には下妻藩権大参事に任命される。
維新後、常陸下妻藩士・軽部鷁弥から軽部斐と改名した。廃藩置県後は宇都宮県に出仕し、まもなく栃木県へ転じて県務に携わった。
明治11年（1878年）、茨城県稲敷郡長（信太・河内郡長）に任命され、同郡の初代郡長として地方行政の整備にあたった。
明治22年（1889年）7月、病没した。