伊賀朝光の長男として誕生[1]。母は二階堂行政の娘。
姉妹・伊賀の方が鎌倉幕府2代執権・北条義時の継室である事から、北条氏外戚として重用された。建暦2年（1212年）、常陸国内に地頭職を与えられる。建保3年（1215年）、左衛門尉、検非違使。建保7年（1219年）2月、大江親広と共に京都守護として上洛。
承久3年（1221年）5月15日に倒幕の兵を挙げた後鳥羽上皇の寵臣藤原秀康を通じた招聘に応じず、「職は警衛にあり、事あれば聞知すべし、未だ詔命を聴かず、今にして召す、臣惑わざるを得ず」と答えた。上皇は再び勅すると「面勅すべし、来れ」と言った。光季は「命を承けて敵に赴くは臣の分なれども、官闕に入るは臣の知る処にあらず」と言って行かなかった。このため、同日に大内惟信・三浦胤義ら800騎の官軍によって高辻京極にあった宿所を襲撃される。光季の配下の武士は85騎だったが逃亡者が続出し残ったのは光季・光綱父子と29騎に過ぎず、光季は奮戦した末、屋敷に火を放って光綱と共に自害した（承久の乱の勃発）。一方で下人を落ち延びさせ変事を鎌倉に知らせている。
後に北条泰時が光季の故地を遺子・季村に与えた。