杉山半蔵の長男として静岡県周智郡村松村（山名郡久努村、磐田郡久努村、袋井町を経て現袋井市）に生まれる。久津部の刮目舎（現袋井市立東小学校）から明治法律学校に学び、自由民権運動に傾倒する。19歳にして久努村長に就任し、同村会議員、磐田郡会議員、静岡県会議員を経て、1912年（明治45年）5月の第11回衆議院議員総選挙では静岡県郡部から出馬し当選。つづく第12回、第13回総選挙でも当選し、衆議院議員を3期務めた。
民政党県支部長を務めたほか、教育行政に力を入れ、磐田郡下の小学校に奨学金を寄贈するなどした。
