延享3年（1746年）、第3代藩主西尾忠需の次男として生まれる。明和2年（1765年）10月に兄の忠雅が早世したため、12月20日に世子として指名された。明和3年12月19日（1767年）、従五位下、山城守に叙任する。天明2年（1782年）9月29日、父の隠居にともない家督を継ぎ、その後、隠岐守に転任した（天明7年（1787年）7月1日とも、天明2年（1782年）10月1日ともいわれる）。
天明4年（1784年）5月15日、寺社奉行兼奏者番に任じられた。しかし12月に江戸藩邸の失火[1]により、天明5年（1785年）1月まで出仕を差し止められている。天明6年（1786年）に岳父の田沼意次が失脚すると、意次の縁者であったが、相良城の取り壊しを務めている。
藩政においては、甘藷の栽培、精糖法の研究など、産業開発による藩財政再建を目指した。また、自らが蘭学・絵画に造詣が深かったため、高森観好ら多くの文化人を招聘し、文化の発展に尽力している。
享和元年（1801年）3月27日、横須賀城にて死去した。享年56。男子は全て早世していたため、婿養子の忠善が跡を継いだ。