1948年テイチクレコードよりレコードデビュー、その後ビクター・コロンビアから毎年レコードが発売された。1959年、日本民謡協会のふるさと支部結成に力を尽くす。1963年貢栄会結成。1965年、日本郷土民謡協会の主催する大会に合奏曲で出場。1966年、目黒公会堂で第1回貢栄会発表会開催。1970年、テイチクより合奏曲レコードが発売される。
1976年、杉並公会堂で第1回小山貢ショー開催。1979年、第21回日本レコード大賞に出場。1980年、合奏曲に日舞を取り入れる。1981年、日本郷土民謡協会から功労章を受章。1984年、フランスのニースで行われたフェスティバルに出演。1985年、第27回日本レコード大賞に出場し、フラメンコや中国の笛・二胡との変奏曲を発表。
1987年、長男に貢を譲り、貢翁と改名。1989年、日本郷土民謡協会から技能章受章。2017年、逝去。大臣賞、新聞社賞などの受賞多数。
