縄文時代早期の八ツ崎貝塚、天子神社貝塚などが発掘されており、両者は「刈谷西部の縄文遺跡」として愛知県指定史跡となっている[1]。『碧海郡誌』によると、かつては小池という地名だったが、やがて小山に改めた[1]。江戸時代には刈谷藩領であり、また池鯉鮒宿の助郷村だった[1]。延享5年(1748年)の戸数は160、人口は816[1]。天保2年(1832年)の戸数は244、人口は1,058[1]。1876年(明治9年)の戸数は254、人口は1,067[1]。
- 1889年(明治22年) - 町村制により碧海郡小山村が発足。
- 1906年(明治39年)5月1日 - 碧海郡刈谷町・逢妻村・元刈谷村と合併して、新たに刈谷町が発足。小山村は廃止。