藤原仲経の子として誕生。中央貴族として天皇の側で仕えるが、内戦（保元の乱、崇徳上皇と後白河天皇の戦）で、縁戚である崇徳上皇側が敗れ、崇徳院は讃岐へ配流され、それにより季光一族も東国へ下る。祖母高階家より受け継がれていた武蔵野国毛呂本郷（現埼玉県毛呂山町）の地へ移り地盤を築く。1159年平治の乱で敗れた源頼朝が伊豆へ流され、そこで近隣に居する季光が一助と成る。
叔母で崇徳上皇の奥方である兵衛佐局は、崇徳天皇の第一皇子、重仁親王を産む。重仁親王は季光の三従兄弟。兵衛佐局は頼朝母方の御身内である。
その後、1180年頼朝は伊豆にて挙兵し平氏打倒。鎌倉幕府が成立し、季光は頼朝の近臣として仕える。頼朝が鎌倉に拠点を構えて新造した大倉御所へ移る儀式で、頼朝の馬の右に付いている。文治2年（1186年）、頼朝の推挙により豊後守に任じられ、准門葉に列せられる。文治5年（1189年）、奥州合戦に参加。建久2年（1191年）、建久6年（1195年）の頼朝上洛に供奉。建久3年（1192年）、永福寺薬師堂の奉行人を務める。
建久6年（1195年）正月に中条家長と喧嘩となり、双方の縁者が集まって合戦になりかけた。頼朝は和田義盛を派遣して仲裁させ、家長を出仕停止にし、季光を御所に召して「御家人らに対して戦闘を起こし、命を失うのははなはだ穏やかではない」と直々に諭している。騒動の原因は、季光は由緒により、頼朝の門葉に準じる家柄であったが、家長が八田知家の養子である権威を誇って無礼を働いたために、季光が咎めたという。この騒動により心経会が延期された。
また、1195年3月12日東大寺大仏殿落慶供養に頼朝や鎌倉武士団と共に参堂している。『吾妻鏡』での季光に関する記述は、建久6年10月に鶴岡臨時祭りで頼朝に供奉した記録が最後である。1999年頼朝薨去ののち、季光も隠居とする。
子・季綱は頼朝が伊豆国の流人であった頃、下部（しもべ）らに耐えられない事があって季綱の邸あたりに逃れていたところ子季綱がその下部たちの面倒を見て伊豆に送り返した。この事から頼朝に褒賞を受け、建久4年（1193年）2月10日、武蔵国和泉・勝田[2]を与えられており、季光の准門葉入りも、貴種性だけでなく流人時代の報恩に拠るものがあったと思われる。頼朝薨去の7年後、1206年季光没。
1221年の承久の乱以降、北条執権下において広く所領が広がり西国の荘園などへも及び、鎌倉武士として一族が派遣される。丹後国では荘園の城主となり、神社や寺などにも手厚い保護を加える。西国に於いても頼朝に仕えた時代の季光の人格と功績が脈々と受け継がれていた。また1500年代、東国に於いては後北条氏側で数々の戦に参戦した。豊臣秀吉の小田原攻めにより八王子城においては多くが討死したが、一部は徳川の幕臣となった者もいる。現在も続く子孫は群馬、京都、東京などに分散し、少なからずも存続している。