享保3年（1718年）、上野国甘楽郡下仁田村（現・群馬県甘楽郡下仁田町下仁田）に生まれる。父は高橋道喜といい、家業の農業のほかに酒造業、商業も営む富豪であった[1]。高橋家は代々下仁田の人であったとも、近江商人だったのが道喜の代から下仁田に定住したとも言われる[3]。
道斎ははじめ同郡南牧の鈴木浄明に学び、延享3年（1746年）に陽明学者・中根東里が道斎宅に3ヶ月逗留して関係を持った[1]。その後江戸の井上蘭台に師事し、同門の井上金蛾、渋井太室と交流を持った。天明2年（1782年）には平沢旭山が道斎宅を訪れ滞在している[1]。
俳人としては下仁田俳壇の中心となり、義仲寺の雲裡坊が行脚で上野国を訪れた際には下仁田俳壇でこれを歓迎している[3]。寛延4年（1751年）には下仁田・宮崎・一ノ宮の俳壇の合同で雲裡坊の指導のもと太子堂塚古墳（富岡市一之宮）に芭蕉句碑を建立し、これを記念して宝暦元年（1751年）に句集『旅寝塚』が出版されている。さらに宝暦12年（1762年）には道斎自身が撰者となり芭蕉句碑の隣にも雲裡坊の句碑を建立している[1][5]。両句碑は富岡市指定重要文化財となっている[6]。
書家としてははじめ松下烏石に習ったとされるが、のちに高頤斎（高玄岱の子）の門人となり、同門の沢田東江と親しく交わった[1][3]。
多胡碑の紹介について、『東江先生書話』によれば、宝暦4年（1754年）に道斎が沢田東江を招いて多胡碑の拓本をとり、これを各地の文士に配ったことで多くの人にその価値が知られたという[1]。
著書に『浅嶽放火記』『弁孟論』『滄溟尺牘考』『道斎家集』『九峰集』など。安永7年（1778年）に中之嶽神社に建立した長清道士碑は下仁田町指定文化財（昭和63年3月22日指定）となっている[8]。
実子は夭折したため、自身の妹の子・克昌と妻の姪・およしを夫婦として養子にしたが、克昌も死去。およしの婿として市河寛斎を迎えたがこの夫婦も離婚し、およしも実家に帰ることとなったので2人の間の子・克順を引き取り九郎右衛門を襲名させ跡継ぎとした[1][3]。
寛政6年（1794年）2月6日下仁田で病没[1]。下仁田町下仁田の常住寺にある墓は市河寛斎撰文、沢田東江並題額によるもので、群馬県指定史跡（昭和38年1月8日指定）となっている[9][3]。
