倉賀野氏は上野国西部の武蔵七党・児玉党有道氏の分派で、倉賀野の地を領したことからこれを名乗りとしたという。
室町時代の関東一帯は鎌倉公方・足利氏を中心に関東管領・上杉氏（山内上杉氏・扇谷上杉氏）がそれを補佐する統治機構であった。永享10年（1438年）に永享の乱が起こってからは関東公方と両上杉氏は互いに争い、敵味方を行ったり来たりして戦争に明け暮れ、次第に権力基盤を失っていった。後北条氏が台頭してくると古河公方・足利晴氏と山内上杉憲政・扇谷上杉朝定、それに従う諸豪族は一致団結して対抗し、倉賀野氏もこれに従った。
天文14年（1545年）、古河公方を中心とする連合軍が数万の大軍で北条綱成の守る河越城を包囲する。兵力差は歴然としており降伏も時間の問題と思われたが、籠城側は半年以上も耐え抜き膠着状態となる。そこへ北条氏康率いる北条軍8,000が救援に駆け付け、油断しきっていた連合軍に夜襲をかけた。河越城からも同時に出陣したため連合軍は大混乱に陥り、扇谷上杉氏は当主である朝定や重臣・難波田憲重らが討死。山内上杉憲政は命からがら平井城まで撤退したが、行政は重臣・本間江州らと共に討死を遂げたという（河越夜戦）。
その後、倉賀野氏は子・為広が継いだと見られるが、主家・山内上杉氏が衰退したため北条氏康や上杉謙信に従って生き残りを図る。孫・尚行の代に武田信玄によって倉賀野城を攻撃され、何度か撃退するが落城。上杉謙信を頼って越後に移り、城の奪還を図るが果たせなかった。
子孫は以降も上杉氏に仕え、米沢藩士となった。