1971年(昭和46年)3月、九州大学法学部卒業。同年4月、山一證券株式会社に就職。1972年(昭和47年)、衆議院議員秘書となる[3]。
1983年(昭和58年)4月の福岡県議会議員選挙に出馬し初当選。以後7期務める間に第50代議長を務めた。県議時代は自由民主党に所属した[4]。
2009年(平成21年)2月3日に行われた福津市長選挙に自民党・公明党の推薦を受けて出馬。民主党推薦・社民党支持の平木俊敬を破り初当選を果たした(小山:13,745票、平木:11,654票)。投票率は56.70%だった[5]。3月6日、市長就任。
2013年(平成25年)、再選。2017年(平成29年)、前市議の原崎智仁に敗れ落選。