河野通喬の五男として生まれ、桑山延晴の養子となる。延享4年（1747年）3月16日に家を継ぎ、寛延元年（1748年）3月27日に西ノ丸の小姓組に列する。宝暦11年（1761年）8月3日より本城勤めとなり、宝暦12年（1762年）12月15日に西ノ丸に戻り、安永8年（1779年）4月16日より再び本城勤めとなる。天明元年（1781年）5月26日に再び西ノ丸に戻り、天明6年（1786年）閏10月20日に再び本城勤めとなる。寛政7年（1795年）7月8日に老齢のため職を辞し、寛政10年（1798年）4月13日に73歳で死去。