14代藩主・安藤直則の次男として誕生した。初名を直承とも名乗る。竹堂、墨堂と号する。
文政9年（1826年）5月25日、家督を継ぐ。天保6年（1835年）12月27日、従五位下・飛騨守に叙任する。紀州藩において藩主・徳川慶福（のちの将軍徳川家茂）や徳川茂承などの補佐を務めた。慶応2年（1866年）、第二次長州征討では幕府軍の石州口の総督を務め、1080名を率いて出陣したが、弾薬を使い果たして江津まで退却した。同年12月3日、罷免、謹慎を命じられる。慶応3年（1867年）9月27日、謹慎を解かれる。
慶応4年（1868年）1月24日、維新立藩で独立の大名となった。同年5月5日、上洛する。明治2年（1869年）6月20日、田辺藩知事に就任する。明治4年（1871年）10月10日、藩知事の地位を長男の直行に譲って隠居したが、ほどなくして再任している。
明治18年（1885年）、65歳で死去した。
