1924年(大正13年) 山形県東村山郡寺津村(現・天童市寺津)に、和算の研究家の善太郎、教師・みやの次男として生まれる。寺津尋常高等小学校、県立山形夜間中学校、米沢工業専門学校(現山形大学工学部)電気通信科卒業。
1947年(昭和22年) 日本無線に入社。
その後、築地のヤミ市で木村コーヒー店(現キーコーヒー)の社長、柴田文次と出会う。柴田は大木を自宅に招くようになり、4人いる娘との結婚を望んだ。大木は次女・とよ子と結婚。
1952年(昭和27年) 木村コーヒー店(現キーコーヒー)に入社。
1970年(昭和45年) 当時副社長であった大木の元に一握りのトラジャコーヒーの生豆が届けられる。
1973年(昭和48年) 4月に、大木はインドネシアへと向かった。トラジャまでの道のりは険しく、島最大の都市から丸一日がかりであった。戦後に廃れた農場に足を踏み入れ、ジャングルと化していたそこで真っ赤なコーヒーの実・レッドチェリーを見つけた時、大木は涙を流したという。大木は約1ヶ月間、調査のために滞在し綿密にこの地と向き合った。そして、戦争に加担した日本人の手で「トラジャコーヒー」を復活させなければならないと心に誓った。
1996年(平成8年)10月15日 外務大臣表彰を受賞。長年にわたるトラジャ事業が認められた形となった。
2013年(平成25年)3月20日 慢性閉塞性肺疾患のため死去。