細川顕氏の子として誕生。祖父・細川頼貞の養子になったと伝わる[1]。
父と共に足利尊氏に仕えて南朝勢力と戦い、武功を挙げた。正平7年/文和元年（1352年）には父と共に和泉国に遠征して南朝勢力を打ち破ったが（男山合戦）、直後に父が病死したため、家督を継いで讃岐・土佐守護となった。
正平10年/文和4年（1355年）からは土佐において南朝勢力と戦っている。また、これらの間に挙げた武功を賞されて足利尊氏より摂津の守護職も与えられた。直後の動向に関しては不明な点が多く、『太平記』の記述に従うのであれば、正平14年/延文4年（1359年）に繁氏は讃岐で兵力を蓄えて大規模な遠征を計画したが、軍資金を得るために崇徳院陵を横領したため、6月に急病にかかって急死したとされている。この時の死は呪詛によるものであると太平記には記されている。奥州家の家督は義兄弟（父・顕氏の養子）で、はとこ（父の従兄弟和氏の子）の業氏が継いだ。
繁氏の死後、その重要な領国であった讃岐は、はとこ（又従兄弟）の細川頼之の支配することになり、奥州家は本家から独立した守護大名としての力を失った。
