以下はあくまで、伝承である。
元弘3年（1333年）新田義貞に鎌倉を攻められて鎌倉幕府は滅亡し、最後の得宗北条高時は自害した。
建武2年（1335年）高時の遺児・時行は御内人諏訪氏らに擁立されて信濃国で挙兵して関東に向かい足利直義を破り鎌倉を奪還した。しかし、足利尊氏・直義の反撃を受け、時行は敗れ鎌倉を奪い返された（中先代の乱）。
敗走した時行は武蔵国の豊島氏当主の景村に匿われ、景村の館で一子をもうけた。その後、時行は南朝に属して北朝（足利氏）と戦うが、正平8年/文和2年（1353年）に捕えられ、鎌倉龍ノ口で斬首された。景村には子がなく、時行の子を養子にして後継ぎとした。元服して初めは小太郎景秀、後に改めて輝時。
景村は新田義貞、義興に属して南朝に忠勤し、従五位下左近大夫に任じられる。輝時も従五位下兵部大輔に任ぜられた。
北条氏嫡流の血をひく輝時だが時節かなわず足利氏の支配に属したようで、鎌倉公方足利基氏に謁して養父からの家督相続を許されている。
応安5年（1372年）に道場寺（東京都練馬区）を建立し、豊島氏の菩提寺とした。
輝時の子の景則（豊島修理亮）は正平18年/貞治2年（1363年）付の足利基氏からの感状を受けている。景則には子がなく家系は断絶した。「泰盈本豊嶋氏系図」によれば、景村の甥の朝泰の家系へと豊島氏の宗家は移った（別説には景村は兄の子の朝泰の成人後に家督を返したともされる）。
輝時の事跡は典型的な貴種流離譚だが、より信頼性の高いと考えられる「豊島宮城文書」（豊島氏一族の宮城氏の文書類。ただし、系図は全面的に信頼できるものではない）には、その名は現れない。そもそも、中先代の乱の時点で時行は10歳程度（一説には3歳程度）の幼児であるとする説があり、この場合子をなすことはほぼあり得ない。さらに、仮に正平8年/文和2年（1353年）の時行の死の直前に景村が輝時を引き取ったとしても最大限でも輝時は10歳程度であり、その10年後の貞治2年（1363年）に輝時の子の景則が足利基氏から感状を受けた、とするのは無理がある（輝時の推定15歳の時の子と仮定しても5歳にしかならない）。「豊島宮城系図」では、この感状を受けた「豊島修理亮」を泰宗としている。
いずれにせよ、時行の子が豊島氏の養子になったという輝時の事跡は、江戸時代の家伝や寺伝にありがちな創作じみた話に過ぎないと推定する説がある。