天文13年(1544年)もしくは天文14年(1545年)頃に生まれた。
永禄年代末期までの動向は詳細不明であるが、兄の義氏とともに北条氏に庇護されていたと考えられている。永禄元年12月から翌年正月の間に、13代将軍・足利義輝より偏諱を受け、輝氏と名乗った。
当初は義氏の後継者的立場にあったが、天正4年(1576年)に義氏の嫡男・梅千代王丸が誕生すると、後継者から外れることになった。翌年(1577年)、幸手一色氏が輝氏を領内の高野台に迎えて守護するようになった。このとき、輝氏は右馬頭を名乗っていた。
天正12年(1584年)、沼尻の合戦に巻き込まれて死去したという[注釈 1]。