新潟県柏崎市中浜で、呉服商の家に生まれる。父は藤吉、母は芳。1928年（昭和3年）[1]、宇都宮中央尋常小学校から栃木県立宇都宮中学校に進学。1930年に宮城県立仙台第一中学校へ転向し、1932年に4年修了、第二高等学校文化乙類に入学。1935年、東京帝国大学法学部政治学科に入学し、1937年秋に高等試験行政科に合格すると、翌1938年の卒業後、内務省から分離して新たに設立されたばかりの厚生省に採用となり、社会局に勤務した。1942年には、東京府への出向という形で、総力戦研究所の研究生（第二期）として活動していた時期もある。終戦直前には、滋賀県山口県に特高課長として出向。大蔵省の吉岡栄一は、終戦の数日前に山口を訪れて小山と会い、その時「数日後に日本が無条件降伏するという」ことを初めて知ったという[2]。
敗戦の年に一時期公職追放となったが、翌年厚生省に復職し、引揚援護局に勤務した。1948年5月に社会局の保護課長となり。1950年の生活保護法全面改正を担当することとなった。同年12月、生活保護法の「立法の理由、規定の内容、その具体的運用等制度運営の基礎的事項にすべてに亘って解説」[3]するために、「生活保護法の解釈と運用」を出版した[4]。保護課長時代の小山について、社会学者の副田義也は、次のように述べている。
「このひとは、厚生官僚として稀有の優秀な人物であったようである。多くの上司、同僚、部下たちが、その頭脳の明晰さ、論理の組立ての巧みさ、社会状況の分析の的確さ、福祉行政・厚生行政の本質的価値の把握、部下を働かせ統率する能力、おもいやり深い人間性などについて証言している。この小山のパーソナリティーは、旧法の運用と新法の制定に大きく投影している」[5]。
1958年には大臣官房審議官、1959年初代年金局長、1962年保険局長と昇進を重ねたが、1965年、中央社会保険医療協議会における医師会と支払い側の対立による混乱の責任を取る形で厚生次官の大山正とともに退官した（いわゆる「大山小山問題」）[6]。その後民間にあって、厚生年金基金連合会理事長、社会保障制度審議会委員などをつとめたが、1972年（昭和47年）9月5日、聖路加国際病院で心不全のため急逝した。
