新潟県出身。長岡工業高等専門学校（長岡高専）電気工学科卒業。
1970年（昭和45年）4月、オリンパス光学工業（当時）に入社し[1]、入社当初は、医療用内視鏡の開発などに携わった[2]。研究開発統括室長、医療技術開発本部長などを経て、2011年（平成23年）4月に同社専務執行役員（映像事業グループプレジデント兼オプト・ビジネスプロジェクト担当）に就任した[1]。
同時期にオリンパスではイギリスの医療機器関連子会社出身でオリンパスメディカルシステムズの取締役なども務めたマイケル・ウッドフォードが社長に就任したが、同年10月には同社取締役会によって解任された。その後任として前社長の菊川剛が再度社長となったものの、菊川らが関与したとされる大規模な会計スキャンダルが明らかとなって菊川はわずか10日あまりで辞任、高山はその後任として同月26日、オリンパス代表取締役社長に就任した。
2012年（平成24年）1月18日に東京都内で会見し、4月後半にも臨時株主総会を開催することを明らかにし、臨時総会で社長を辞任する方針を表明した[3]。取締役責任調査委員会の調査報告書が高山ら現職の取締役6人の損失隠し問題に絡む責任を指摘していた[4]。
