明和5年（1768年）7月22日、常陸笠間藩主牧野貞長の四男として生まれる。天明2年（1782年）12月23日、横須賀藩主西尾忠移の養子となる。天明4年（1784年）3月1日、将軍徳川家治に拝謁する。同年12月16日、従五位下、右衛門佐に叙位・任官する。寛政2年（1790年）10月16日には右京亮に転任する。享和元年（1801年）5月27日、忠移の死去により家督を継ぎ、隠岐守に転任する。
文化3年（1806年）1月晦日、奏者番に任じられる。文化8年（1811年）、藩の学問所である修道館を創設し、国学者の八木美穂を招聘して学問を奨励した。また、藩財政再建のため、漁法の刷新や刀工を奨励した。しかし文化13年（1816年）に年貢減免を求めての一揆も発生している。
文政11年12月11日（1829年）、病気を理由に奏者番を辞する。文政12年（1829年）3月16日、病気を理由に家督を四男の忠固に譲って隠居し、豊後守に転任する。天保元年12月17日（1831年）、江戸木挽町屋敷で死去した。享年63。