1971年（昭和46年）3月、九州大学法学部卒業。同年4月、山一證券株式会社に就職。1972年（昭和47年）、衆議院議員秘書となる[3]。
1983年（昭和58年）4月の福岡県議会議員選挙に出馬し初当選。以後7期務める間に第50代議長を務めた。県議時代は自由民主党に所属した[4]。
2009年（平成21年）2月3日に行われた福津市長選挙に自民党・公明党の推薦を受けて出馬。民主党推薦・社民党支持の平木俊敬を破り初当選を果たした（小山：13,745票、平木：11,654票）。投票率は56.70％だった[5]。3月6日、市長就任。
2013年（平成25年）、再選。2017年（平成29年）、前市議の原崎智仁に敗れ落選。
