文化2年（1805年）6月10日、加賀藩年寄横山隆盛の子として生まれる。文化13年（1816年）、隆盛の死去により家督と3万石の知行を相続する。
文政10年（1827年）、金沢城代となる。同年12月、従五位下・山城守に叙任する。天保9年（1838年）、幕府より江戸城西丸再建の手伝普請を命じられ、その奉行を務める。天保11年（1840年）、普請の功を幕府より労われ、白銀と時服を授かる。天保14年（1843年）11月、遠江守に遷任する。
安政元年（1854年）、執政長連弘ら黒羽織党が失脚すると、代わって執政となり藩政を主導するが、藩内保守派と領内商人層の代弁者と評され、相次ぐ天災や幕府への上納金などで藩財政はさらに逼迫することとなる。また、銀札増発、御召米、大量の出津米といった政策が原因となり、安政5年（1858年）には領内に打ち壊しを伴う米騒動が発生した。
万延元年（1860年）11月12日没。享年56。墓所は石川県金沢市野田山墓地。安政5年（1858年）に嫡男の隆貴が父に先立って没していたため、家督は嫡孫の隆平が相続した。
