直衛は嘉永元年（1848年）、出羽国秋田郡鷹巣村（現北秋田市）成田良左衛門の次男に生まれ、久保田町（現秋田市）茶町士族医師青木泰順の養子になったが、兄が亡くなったので実家に戻り跡を継いだ。17歳の時、久保田町の根岸靱負の門に入り文学、弓馬、刀剣の術を学び、秋田藩郷士となり、明治元年（1868年）戊辰戦争では扇田で南部藩の兵士と戦い手柄をたて藩主より刀一振を賜る。
世は明治の新時代となるが、時の流れに敏感な彼は、一時妻子を残して東京の福澤諭吉の門に入る。26歳の彼は「自分は一番年長者で、多くの少年たちと洋学を勉強するのはくすぐったい気持ちであったが、新しいことを学ぶ最初の窓口となった」と書いている。その後、法制学者細川潤次郎の門下生となり政治経済学を修める。
新しい制度はできても固まらず混沌たる状態であった時に、彼は郷里に帰り、戸長となり県職員になり、大牧場を経営するなどするが、明治12年（1879年）、32歳で第1回県会議員に当選し初代議長に推される。そして、鷹巣村に郡役所、県立農林学校、奥羽線の駅を誘致し、明治14年（1881年）には天皇の東北御巡幸を請願し、自邸を御昼行在所としてお迎えした。
また衆議院議員に当選すること4回、中央でも大活躍し秋田鉱山専門学校の誘致や、雄物川改修、船川線敷設運動、県育英会創設などで県発展のため貢献した。大正7年（1918年）、71歳で没す。
昭和55年（1980年）9月8日、鷹巣地方史研究会ほか多くの有志が金を出し合って、町内の米代児童公園に彼の胸像を建てた。その趣旨は「鷹巣町を現在の姿に発展させた成田直衛翁のことを未来の担い手である青少年に伝え、愛町の精神を培いたい」というのであった。
