1888年(明治21年)、岡山県浅口郡船穂村(現:倉敷市船穂町)の小山四郎兵衛秀男の次男として出生[3][4]。旧制高梁中学(現:岡山県立高梁高等学校)を経て、1906年(明治39年)第六高等学校に進学する[1]。
その後、1909年(明治42年)6月に同校を卒業し[5]、同年に東京帝国大学法科大学政治学科へ進学した[6][7]。1913年(大正2年)7月、24歳で同大学を卒業し[8]、一年志願兵として入営し陸軍二等計手になった後[9]、1915年(大正4年)台湾銀行書記として入行した[9][10]。
台湾銀行打狗支店(1913年頃)
台湾銀行は1899年(明治42年)に営業を開始し、銀行券の発行を有する台湾最大の商業銀行として発展した。台湾島内の産業資源開発に資金を提供し、南部中国・南洋方面での日本人の活動を援助した。小山は、廣東支店長代理に昇進後[9]、1917年(大正6年)小山は若干29歳で打狗(読み:ターカウ、現在の台湾高雄市)支店の支店長兼支配人となった[11]。
台湾銀行打狗支店は南部中国との経済関係をつなぐ目的で設置され、対岸の厦門(アモイ)支店同様1900年(明治43年)に開設された[12]。
1920年10月、日本統治下の台湾では、州制・市制・街庄制が施行された。それに伴い打狗周辺は、新たに高雄州となり、台湾各地で協議会員が任命され、その第1回高雄州協議会員の18人の中に小山がいた。この協議会は日本から来た人物が半数を占め、小山を含め、その多くが高雄街に住んでいた。
日本人協議会員の職業を見ると、永田綱明など3人は現職の国家公務員で、協議内容の調整を担当していたと考えられる。他の日本人協議会員は自営業者や会社・銀行勤務者で、特に南部中国・南洋関連の事業を行う企業に従事している人が多いことからも、高雄はこれらの中継地点として重要な場所であった[12]。そして、これらの企業活動を助けるために、台湾銀行打狗支店長の小山に高雄州協議会員への参加を求めた。
その後、1920年(大正9年)台湾銀行本店支配人代理を経て[11]、1921年(大正10年)には、早くも32歳で台湾銀行本店支配人に就任し、将来は、頭取就任の可能性も視野に入っていた[9]。しかしながら、小山は当時、台湾銀行の頭取であった中川小十郎と方向性の違いから揉めたため、1922年(大正11年)3月に同行を退職し、翌1923年(大正12年)帰郷した[9][13]。
帰郷後は、岡山市に在住し弁護士となり、弁護士事務所を開いた。37歳になった1926年(大正15年)9月には、岡山県議会議員補欠選挙へ立候補し当選[9][11]。そして、38歳になった1927年(昭和2年)6月より三蟠鉄道監査役となり、1931年(昭和6年)8月に三蟠鉄道が解散するまでつとめた[14]。1929年(昭和4年)には、県議会議員の辞職に伴い、岡山市会議員選挙へ立候補し当選[11]。県政市政に活躍した。1937年(昭和12年)48歳のとき、昭和護謨(現:昭和ホールディングス)の監査役になった。
1959年(昭和34年)70歳で逝去。趣味は囲碁であった[11]。