東京都生まれ。東京大学経済学部卒業。弟は講談社の取締役も務めた歌人の小高賢（本名・鷲尾賢也）。
八幡製鐵（現在の新日本製鐵）入社。新日鉄労働組合連合会書記長を経て、鉄鋼労連書記長、委員長を歴任。1993年（平成5年）より連合事務局長を務め、1997年（平成9年）から連合会長に就任する。
東大時代には旅行研究会に在籍しており、1961年には現在知られている限り初めて最長片道切符による旅行を試みた4人のうちの1人でもある。2004年5月にはNHKの『列島縦断 鉄道12000キロの旅 〜最長片道切符でゆく42日〜』放送に先立つプレ特番にゲストとして呼ばれ、当時の苦労話を語った。
2012年2月26日、死去[3]。73歳没。叙・従三位[4]。
