坂本龍馬が武市らと袂を分ち、沢村惣之丞らを従え脱藩を決意すると、俊平は信吾とともにこれを助け、文久2年（1862年）3月25日、いったん龍馬と沢村を屋敷に逗留させ、翌日、信吾と共に韮ヶ峠まで彼らを警護したという。韮ヶ峠から先は俊平をそのまま龍馬に従わせ、伊予大洲領の宿間村まで随行させている。だが、翌月の吉田東洋暗殺事件が起こると、信吾がこれに加担し、その後、脱藩したことを知るや、俊平は信吾に対し初めて非難する向きの言葉を述べている。だが記録によれば下人を使い、自身の槍術皆伝書を信吾に渡した、とも伝えられており、脱藩後もなお、信吾との交流は続いていたとされる。
元治元年（1864年）6月5日、天誅組を指揮する吉村虎太郎とともに大和で挙兵した信吾が戦死すると、これを悲しんだが、そのいとも間もなく吉田東洋暗殺に那須邸が関わっていることが知られたことで、師への藩の追及を恐れた配下たちはいち早く俊平を脱藩させる。翌月、坂本龍馬に従って土佐を脱藩していた松山深蔵が、禁門の変の勃発を見て組織した浪士結社部隊・忠勇隊の傘下に入り京へ進軍した俊平は、池内蔵太らとともに薩摩藩を都より放逐する為に兵を挙げる。同月19日、ついに京へ流れ込み薩摩、会津藩らと凄まじい攻防戦を演じたが、鷹司邸後門での戦闘で討死した。溝に足を取られ戦闘不能に陥ったところを越前藩兵に襲われ首を討たれたと伝えられている。首塚が京都市北区上善寺にある。
明治31年（1898年）、正五位を追贈された[1]。
現在、檮原町において、彼を偲んで邸宅跡に銅像が建っているほか、同町の維新の門でも養子・那須信吾とともに立つ像を見ることができる。