越後国岩船郡平林城（新潟県村上市）に本拠を置き、本庄氏と共に越後秩父氏を形成した。
元々は越後小泉庄色部条（現在の村上市牧目の一部）の地頭だったが、南北朝時代に北朝方として南朝方で平林城の平林氏を攻め滅ぼし、そのままそこを居城とした。その後も色部高長が加地氏と共に南朝方の小国氏、池氏、河内氏、風間氏、於木氏、千屋氏、高梨氏らと戦っている。
戦国時代には上杉氏を補佐し、色部勝長は上杉謙信から血染めの感状を貰っている。
上杉景勝の会津転封、のち米沢転封に従い江戸時代には米沢藩家老を務めたが、戊辰戦争の際、敗戦の責を負わされ断絶。のちに再興を許された。