先代・安行の子として生まれ、安政2年（1855年）に父の死により家督を相続した。
相続当初は、天災と疫病に苦しめられた。まず相続直後に、江戸屋敷が安政の大地震で建物の全てが大破した。安政3年（1856年）6月、旱魃のため知行地内の竜王宮・鍋森宮に対し雨乞い祈祷をするよう御触書を出している。安政4年（1857年）も知行地内で2月に風邪（流感）が蔓延、さらに6月から9月は旱魃と暴風雨に遭うなど天災に見舞われたため、安政6年（1858年）家臣・片岡藤左衛門に伊勢神宮に代参するよう命じている。しかし、この年から翌安政7年（1859年）までコレラの大流行、万延元年（1860年）の米の不作などがおこっている。
安政4年（1857年）11月、先代・安行が貸付による利益を目論み始めさせた会所札（旗本札）が、1394両の債務超過となり札潰れ（発行停止）となったため、札の引き揚げのため知行地内の有力農民・商人65名から融資や上納金を強要して引当金にしたが、知行地内の通貨が不足し流通の妨げとなり、経済の停滞を招いた。会所札の失敗について、研究者は早島知行地周辺の岡山藩札・庭瀬札・宮内藤井札の札潰れによる藩札・銀札に対する不信感と引当金の準備不足を指摘している。
安政5年（1858年）2月、士分・溝手九七郎を世話役に命じて郷校・時習館を創設し、家臣のみならず庶民にも開放した。
文久3年（1863年）8月29日から9月5日まで江戸・昌平橋警護役、同年12月市川番所の警護役を務めた。
慶応元年（1865年）2月の長州征伐は病気で出陣できず、弟の安宅（隼人）を代わりに出陣させる。
慶応4年（1868年）正月、国元の重臣・数田佐平太たち3人に岡山にいる岡山藩家老・伊木忠澄らに領地を預ける証書と知行地内の石高と年貢を書き上げた文書（高物成書上）を提出させた。同年3月12日、隼人に命じて京都の太政官へ御用を勤める意志を記した懇願書と岡山藩主の添書とともに提出させた。同年5月、本領安堵・下大夫に任命される。同年6月一族らと共に早島へ移住した。
同年8月隠居し、跡目は弟で養子の隼人が継いだ。
明治5年（1872年）1月29日没。