東京府東京市牛込区(現・東京都新宿区)に生まれる。1932年(昭和7年)鉄道省東京鉄道局に就職した。戦後も日本国有鉄道の機関紙『國鐵』の編纂に従事しながら法政大学文学部を卒業した。大学時代は授業料を内田百閒に肩代わりしてもらっていた。
内田百閒の教え子として知られ、夏目漱石の流れを汲む作家でもある。その生涯を通して、内田百閒の身辺の叙述・研究に当たった。
百閒の代表作『阿房列車』シリーズにおいては、百閒の旅のお供をする「ヒマラヤ山系」として登場している。対して平山は百閒を「四ッ谷の先生」と呼んでいた[2]。師の没後は『内田百閒全集』編さん、作品の文庫再刊の校訂解説を生涯行った。
百閒が娘の名付け親になるなど、家族ぐるみの付き合いであった。その長女は世田谷区池尻でおでん屋を経営(2018年に閉店)した。
百閒に師事した作家の中村武志(国鉄職員で、著作権管理者)が、平山の国鉄在勤時代に上司だった時期もあった。
2000年3月24日、心不全のため死去[1]。