家は代々大和中宮寺の医師であった。幼時より京都にあって医術を山脇元沖（東海）に、儒学を巌垣松苗に学ぶ。15歳のとき郷里に帰り、天保6年（1835年）私塾を開き晩翠堂と名付けた。同塾の門下生には、三枝蓊がいる。維新百傑に数えられる伴林光平と親しく交流があり、光平は同塾で和歌を教えていた。
熱烈な尊王家であり、安政の大獄で弾圧を逃れて大和に入る者を庇護し、文久3年（1863年）天誅組が大和に挙兵することを聞き、自らは老齢のため参加できないのを残念に思い、北畠治房に金子を与え、また同志の者から軍資を募って天ノ川辻に輸送した。天誅組が敗走すると、伴林光平がいったん安堵に立ち寄ったが文吾にあえず自首。それを聞いた文吾は驚き、吐血昏絶したといわれている。翌年57歳で没した。近隣の共同墓地である阿土墓地（奈良県安堵町）に眠る。
明治41年（1908年）、正五位を追贈された[1]。
生家は、安堵町歴史民俗資料館となっている[2]。