伊谷平蔵の二男として、鳥取市川端に生まれる。
大正13年（1924年）京都高等工芸（現京都工芸繊維大学）を卒業後、同校研究室と関西美術院で洋画の研究に専念し、そのころ黒田重太郎に師事した。
大正14年（1925年）春陽会、翌年二科展に入選し、以後、昭和18年（1943年）の二科展解散まで出品を続け、その間に二科会員となった。
昭和14年（1939年）に従軍画家として北支戦線に派遣され、翌年から華北交通嘱託として計6回中国を訪問。しかし、いわゆる戦意高揚のための戦争画ではなく、大同石仏や中国の民衆の質朴な暮らしを描いた。
昭和20年（1945年）11月、向井潤吉らの画友とともに行動美術協会を創設して画壇で活躍する一方、京都学芸大学美術家主任教授、京都精華短大教授を歴任して後進の育成に当たった。
昭和28年（1953年）、朝夕の要綱に染められた九州の山々を取材し、悠久の自然と対話するうちに、情熱と気魄に満ちた赤褐色に到達。「伊谷レッド」と呼ばれるようになった。
昭和45年（1970年）3月27日永眠。代表作は「大山」「阿蘇」「桜島噴煙」など。
