1845年（弘化2年）生まれ。父は徳川家の庭苑掛を務めていた人物。1869年（明治2年）宮内省に任用され、1875年には内匠課付になる。1888年には皇居御造営事務を兼務し1890年内匠寮技手、1905年内苑局技師。1908年の官制改正で内苑寮技師。1911年に退官。
作風は、1884年に担当した明治神宮旧御苑の築造以降は、内匠寮の建築家らの影響もあり庭園のデザインが芝庭を用いた和洋折衷スタイルとなっていく[7]。これは明治天皇と宮内省内匠寮技師の小平が様式の形成に寄与した人物と目されているからである。例えば、明治神宮旧御苑築造の際には、「こ、ヘ斯う道をつけねばいけぬ。一本路では散策にならぬ故、うねうねと曲折を多くするのがよい」と、天皇自らが小平の作成した設計図上に曲線園路を示したというエピソードが残る（中島卯三郎「明治神宮の旧御苑」、庭園と風景13巻3号、1931年）。また、明治29年(1896)に旧来の庭園を芝庭に改造した「元離宮二條城本丸庭園」も、改造の指示は明治天皇が出し、実際の築造に小平が関与したと考えられている。各地に造営された天皇の御用邸で庭園を小平が手掛けたものには「母澤御用邸」(1899年完成）「静岡御用邸」1900年完成）があるが、こうして庭は悉く芝庭が採用されていくのである。
宮内省庭園（高輪皇族邸、吹上御苑、浜離宮恩賜庭園、旧芝離宮恩賜庭園、霞が関離宮旧有栖川宮邸、静岡御用邸、日光田母沢御用邸）以外では、1895年日比谷公園設計案提出の際に甲乙2案を提出したが採用されず。そのほか、桑名諸戸氏庭園で池泉の改修設計、楽寿園（静岡県・三島市）、旧鍋島邸（現・総理大臣官邸）、細川護成邸肥後細川庭園、新宿御苑の設計を担当した。
