天保12年（1841年）4月、福岡藩士尾崎惣左衛門（朝秀）の長男として、筑前国早良郡鳥飼村（現在の福岡市中央区）に生まれる。始めに亨太郎、弥助、その後逸造と称す。親子二代にわたって勤皇派であり、若くして、父惣左衛門と共に、加藤司書や建部武彦らと時勢を論じ合った。
慶応元年（1865年）福岡藩主黒田長溥による勤皇派への弾圧（乙丑の獄）により、惣左衛門、加藤、建部らと共に捕らえられ、惣左衛門、加藤、建部らが切腹し果てる様を隣の獄窓から見送った。その後、宗像大島に流刑され、明治維新による大赦により釈放となる。
明治元年（1868年）3月、藩校修猷館の指南加勢助となり、指南加勢役を経て、副訓導となる。国学を講じた。明治2年（1869年）6月福岡藩参政局副議事、明治3年（1870年）9月福岡藩奥頭取となる。同年11月臻と改名する。
明治8年（1875年）尾崎が社長となって、代言人業（一種の弁護士業務）である一到舎を設立。郡利（保宗）が副社長で、吉田鞆二郎、平岡浩太郎ら自由民権運動家が参加し、同年設立された自由民権運動の政社である矯志社（代表は武部小四郎）、強忍社（代表は越智彦四郎）、堅志社（代表は箱田六輔）に対して指導的立場をとった[5]。
明治22年（1889年）福岡県立尋常中学修猷館の館長（校長）に就任。明治24年（1891年）3月、修猷館の校庭から、何者かによって投げられた瓦の破片が、通りを進んでいた歩兵第24連隊の隊列の兵士の小銃に当たったことに端を発し、ついには陸軍省と文部省の対立にまで発展する事件（修猷館投石事件）が発生し、その収拾のため辞任することとなった。
その後、光雲神社の宮司を務めた。
