岡山県に生まれる。地元に近い旧制高梁中学校（現在の岡山県立高梁高等学校）へ入学する。同期に、明治大学学長を務めた小出廉二、東京帝国大学教授で経済学の宇野学派を率いた宇野弘蔵、第一次日本共産党の西雅雄、キリスト教伝道師で内務官僚の松田享爾がいる。このうち西雅雄、宇野弘蔵とは中学卒業後も親交があった。1915年（大正4年）に同校を卒業し、宇野と同じ第六高等学校文科丙類へ進学する[2]。1918年（大正7年）同校を卒業、京都帝国大学法学部法律学科へ進学する[3]。京大では、河上肇の教えを受けた[4]。学業優秀者として、大学2年生の1919年には、帝国学士院の子爵夫人末松生子ローマ法奨励賞を受賞している[5]。1921（大正10年）3月に同大学を卒業し[6]、京都帝国大学院へ進学するも退学し、弁護士となった[6]。
高木は弁護士業をする傍ら、1921年（大正10年）10月、大学に昇格した創成期の関西大学法学部教授となり、政治学を教えていた[7]。また、高木は、地元の同級生で社会主義運動家でもあった西雅雄を高く評価しており、色々な人物に紹介していた。特に、女性運動家でしられる九津見房子[8]は、高木から西を紹介された直後に特別高等警察（戦前の秘密警察）が自分の元へ来たことを証言している[8]。さらに、当時18歳の山辺健太郎にも、高木が西を紹介し、山辺はこの後、社会運動家として活躍することになる。このほかにも、ユニオン等の労働組合の顧問も複数掛け持ちしていた[9]。加えて、同郷の岡山の後輩である守屋典郎は、高木から大きな影響を受けている[10]。1924年（大正13年）には、当時の清浦内閣を清浦特権内閣と呼称し大阪にて、南鼎三、村田虎之助と共に内閣の打倒と政党政治の確立を訴え[11]、短期間に政権交代を実現している。
その後、1928年（昭和3年）に発生した三・一五事件の時には、既に関西大学の教授を退官し、岡山で弁護士業を営んでいた。
1932年（昭和7年）、37歳で死去した。生前、親交のあった衆議院議員の高梨乙松は、その早すぎる死を偲んだ[1]。
友人であった高梨乙松の著書『法窓五月雨雑記』には、高木に対する以下の記述がある[1]。
筆者の友人に高木益郎と云う辯護士があった。京大出身の秀才で偽らざる處得（しょとく）難い人材であったが、不幸にして一昨年37歳の若さで此の世を去った。･･･（中略）･･･只一つ「高木益郎君の夭折（ようせつ）は日本の損害である」と云う標題をつけた人があったのを見て一寸考えさせられた。其の人は某私立大学のピカ一とも謂はれて居る知名の学者である。成程理論は或は成立しよう。けれども明敏な故人は恐らく地下で苦笑してはいないか。諛辞 （ゆじ）は大聖も仁鮮（じんせん、意味：ゴマすり）しと断じた。死屍に鞭（む）たざるばかりが君子人ではない。
高梨は、高木の死は惜しいとしながらも、故人にごまを擦ったり、もてはやすことは高木の性格からしても嫌がることであり、死んだ人に鞭を打たないことだけが立派な人間ということではなく、適切に批判することも必要であると考えていた[1]。
