京都府出身。旧制四高を経て東京大学第二工学部卒業後、1948（昭和23）年 逓信省に入省。電気通信省を経て、日本電信電話公社。建設局長、施設局長、技師長等を歴任。
戦災によって壊滅状態にあった電話網の普及や、電話の即時化等に貢献した。また、日米貿易摩擦の問題が浮彫りになった1980年代には、独自の資材調達方法を確立し問題解消した。
民営化を経て、1986（昭和61）年6月、NTT副社長に就任。1988（昭和63）年6月、第3回定時株主総会において、第2代日本電信電話株式会社社長に就任した。
社長在任中に、電電公社最後の総裁であり、前社長で当時のNTT会長職にあった真藤恒がリクルート事件発覚によって辞任した。真藤は、民営化したNTTの看板的存在であったため、山口は、その後の社内の建て直しに尽力した。「企業理念」「21世紀のサービスビジョン」「中期経営計画」を作成し、サービスの高度化と経営基盤確立の方向を示した。1992年に東洋経済新報社から出版した「NTTにかけた夢 (トップが語る21世紀)」では未来のNTTの発展への潜在能力を自らの視点で書き下した。
1990（平成2）年社長を退き、真藤辞任以後、空席であった会長を1996（平成8）年まで務める。後任には児島仁が就任。
2008年12月30日死去。
