正徳3年（1713年）、山野辺義逵の子として江戸に生まれる。
寛保2年（1742年）、36歳で大寄合頭格となる。延享3年（1746年）、大寄合頭上座、老中となって700石。延享4年（1747年）、父・義逵が隠居したため、家督を相続して1万石。同年、従五位下に叙され、兵庫頭と称した。寛延2年（1749年）には軍用司、城代となる。
宝暦13年（1763年）、後桜町天皇の即位にあたり、藩主名代として京に使した。明和6年（1769年）、再び軍用掛を命じられる。安永元年（1772年）、江戸城内で杖を用いることを許されたが、同6年（1777年）に死去した。享年65。
諸芸に通じ、硬骨、謹直をもって知られた。学を好んだ義胤は名越南渓などを師としたが、師が町人や低下層の学者であっても謙譲し敬って接したという。
子には恵まれず、はじめ佐伯藩主毛利高慶の四男・義聚（図書、扶揺と号す）を養子としたが、家風に合わなかったらしく、のちに離縁した。さらに中津藩主奥平昌敦の三男・義風を養子とした。