美濃国苗木藩11代藩主・遠山友寿の五男として誕生した。初名は友祝。
嘉永4年（1851年）8月15日、12代将軍・徳川家慶に御目見する。嘉永5年（1852年）3月13日、養父・織田長恭の隠居により家督を相続する。嘉永6年（1853年）11月7日、従五位下・豊前守に叙任する。慶応4年（1868年）1月24日、鳥羽・伏見の戦いにおける旧幕府軍の敗退を受けて上洛、新政府から大和国内の旧幕府領の取締りを命令される。小大名であったためそれまでは主体的に動けず、日和見的な態度をしていた。
明治2年（1869年）6月24日、芝村藩知事に就任する。明治4年（1871年）7月15日、廃藩置県により免職となる。
明治6年（1873年）1月31日死去、享年50。墓所は泉岳寺。