建武2年（1335年）、4代当主・渋川義季の長男として誕生。同年、父・義季が中先代の乱で戦死したため、幼児の身で渋川家当主となった。元服の際は足利直義の偏諱を受け直頼と名乗る。姉は、足利義詮の正室・渋川幸子(こうし)。
中務大輔に任官すると足利方の武将として従軍した。やがて幕府内部の抗争である観応の擾乱が勃発すると、直義方からその兄・足利尊氏方の武将に転ずる。その後は観音寺城で直義方と合戦を行ったり、一時は京都守護になるなど尊氏方の武将として活躍したようだが、間もなく記録から姿を消す。
『系図纂要』によると正平11年7月17日に没したとされる。享年22。跡を嫡男・義行が継いだ。備後国御調郡に所領を得たとされ、これが子孫の備後守護へと繋がっていく。