1902年（明治35年）1月19日、山形県北村山郡大石田町豊田に生まれた[1]。父親は曹洞宗延命寺の住職[3]。生後1年ほどで父親を亡くすと、北村山郡大高根村（現・村山市白鳥）にある母方の伯父の家に身を寄せ、16歳までここで暮らした[1]。8歳の時に母親が再婚したが、均はその後も伯父の家で暮らしている[3]。1914年（大正3年）には白鳥小学校を卒業し、1916年（大正5年）には富並尋常高等小学校を卒業した[3]。
1919年（大正8年）に上京し、神奈川県川崎市の洋服店、東京・神田の書店、故郷の下駄屋などで働いた[3]。1920年（大正9年）には再び上京し、万玄社に勤めて新聞配達をするかたわらで、小石川の川端画学校に入学して岡村葵園に学んだ[3]。1923年（大正12年）には中央美術展で入選、1924年（大正13年）には国画創作協会展で入選したことで土田麦僊に見初められ、1925年（大正14年）には京都・東山に転居した[3]。京都では麦僊の山南塾に入塾したほか、東山洋画研究所でも学び、宮本三郎や橋本徹太郎と知りあっている[3]。
同年の第4回国画創作協会展で『晩秋の野に死骸を送る村人達』が入選。翌1925年（大正15年）の第5回国画創作協会展でも『夕月 - 秋林』が入選し、国画創作協会から奨学金500円を得た[4]。
1928年（昭和2年）には愛宕郡大原村（現・京都市左京区大原）に転居[3]。その後国画創作協会の会友となったが、1928年（昭和3年）に同会日本画部が解散すると新樹社に参加した[3]。1929年（昭和4年）には帝展で初入選し、1930年（昭和5年）には帝展で特選となった[3]。1934年（昭和9年）には福田豊四郎や吉岡堅二らとともに山樹社を結成し、1937年（昭和12年）には津田青楓らと墨人会を結成[3]。
1946年（昭和21年）の院展では日本美術院賞を受賞して同人に推挙され、1965年（昭和40年）の院展では文部大臣賞を受賞した[3]。1975年（昭和50年）には故郷の最上川を題材とした連作で芸術選奨文部大臣賞を受賞し、1979年（昭和54年）の院展では内閣総理大臣賞を受賞した[3]。1980年（昭和55年）には出生地の大石田町の名誉町民となり[1]、1981年（昭和56年）には16歳まで過ごした村山市の名誉市民となった[2]。
1989年（平成元年）8月23日に大原の自宅で死去[3]。87歳だった[3]。没後の1990年（平成2年）には旧宅に小松均美術館が開館した。門には自筆の「萬霊報恩郷」の額が掲げられている。
