青森県五所川原市出身[2]。青森県立弘前高等学校、早稲田大学政治経済学部卒業。
1999年（平成11年）4月30日、青森県議会議員となる。2003年（平成15年）、再選。
2006年（平成18年）5月27日、五所川原市長の成田守が健康上の理由により辞職。これに伴って7月9日に行われた市長選挙に自由民主党と公明党の推薦を受けて立候補。前市議の前田清勝、「羽柴誠三秀吉」や「羽柴秀吉」名義の政治活動で知られる三上誠三らを破り初当選した（平山：21,174票、前田：12,713票、三上：1,415票）。同日、市長に就任[3]。
2010年（平成22年）の市長選では、自民党の元県議・櫛引ユキ子との争いを僅差でかわし再選（平山：19,817票、櫛引：18,516票）。2014年（平成26年）、無投票で3期目の当選[4]。
2018年（平成30年）4月21日、任期満了に伴う市長選挙（6月17日告示、24日投開票）への立候補を取りやめると発表した。会見に同席した長男の平山敦士が後継候補として市長選に立候補する意向を示した[5][6]。平山敦士は自民党と公明党の推薦を受けるも、6月24日の市長選では元タクシー会社社長の佐々木孝昌に敗れた[7]。
同年8月14日、左腎盂がんのため、五所川原市のつがる総合病院で死去[1]。78歳没。叙正五位、旭日小綬章追贈[8]。
