御家人の鳥羽半七の子として江戸に生まれる。古賀侗庵に師事し、昌平黌に学び、文政12年（1829年）8月16日、助教となる。天保8年（1837年）西の丸御徒の乙骨半右衛門安知の娘婿となり、同10年（1839年）6月20日に跡目を相続。同14年（1843年）友野霞舟とともに徽典館初代学頭を務める。友野霞舟は耐軒より二十歳以上の年長ながら、共に忘年の交わりを結んだという[1]。安政2年（1855年）江戸に戻り海防掛目付に転ずるが、安政の大獄で天守番に左遷された。享年54。墓所は小石川の寂円寺。
著作に「遊御岳記」「読瀛奎律髄刊誤条記」などがある。山梨県立文学館に「乙骨耐軒文書」が所蔵されている。
