室町時代、為家の孫・赤井基家は足利尊氏に仕え所領を維持したが、丹波守護は細川氏が任ぜられた。そして、守護代は主に内藤氏が歴任し、赤井氏や波多野氏などの有力国人を従えた。
大永7年（1527年）、管領・細川高国に対し、波多野元清・柳本賢治兄弟が反乱を起こすと、赤井五郎（赤井忠家または赤井時家）は波多野氏に加勢し、柳本賢治が篭る神尾山城を包囲していた細川尹賢を急襲しこれを敗走させ（桂川原の戦い）、細川高国を没落させた。
享禄4年（1531年）、細川高国が大物崩れにより敗死すると、阿波国の細川晴元が京兆家（細川宗家）当主となり丹波の国人もこれに従った。しかし波多野秀忠（元清の子）は高国の弟・細川晴国を奉じて挙兵し、内藤氏、赤井氏は波多野氏に破れた。この戦いで黒井城は落城、時家は子の家清とともに三木の別所氏の元に落ち延びた。天文5年（1536年）細川晴国が摂津国天王寺で自害すると、赤井氏は旧領を回復し、時家は丹波国に帰還した。時家は烏帽子山に陣を敷き内藤氏と戦ったという。
しかし、天文21年（1552年）、細川高国の養子・細川氏綱（尹賢の子）が挙兵し、細川晴元の家臣三好長慶に奉じられて京兆家当主となった。京を追われた細川晴元は波多野元秀（秀忠の子）を頼り丹波に入ると赤井時家も細川晴元を支援し、赤井氏は、三好長慶と対抗することとなった。天文22年（1553年）に氏綱の支援者であった内藤国貞が三好氏と組んで波多野氏の八上城を攻めたが、後援に現れた三好政勝・香西元成に逆に自身の居城である八木城を落とされ国貞が戦死してしまう。しかし、三好家の重臣であり国貞の娘婿であった松永長頼が内藤家に入ってこれを建て直し、波多野氏を降して、丹波のほぼ全土を支配した。
一方、氷上郡の国人も二つに分かれ、弘治元年（1555年）、細川晴元方の赤井一族と、細川氏綱方の芦田・足立一族が丹波国氷上郡香良で合戦を行った。この戦いで、時家の子赤井家清・荻野直正が重傷を負ったものの、芦田・足立氏も多くの一族を失い、赤井氏は氷上郡をほぼ完全に支配下においた。 弘治3年（1557年）2月に赤井家清が先の負傷が元で死去した。その後は、赤井直正が赤井忠家（家清の子）を補佐し、永禄8年（1565年）には松永長頼から名を改めた内藤宗勝を和久郷の合戦で討ち取った[3]。
永禄13年（1570年）3月、赤井氏は織田信長に降り所領安堵される。その後、離反し丹波国国人衆の旗頭波多野氏とともに激しく抵抗したが、織田家臣の明智光秀の丹波侵攻により、天正7年（1579年）8月9日、本拠の黒井城を落とされたため（黒井城の戦い）、忠家は遠江国二俣に逃れた。
文禄元年（1592年）、赤井忠家は朝鮮出兵の時に豊臣秀吉に仕える。文禄2年（1593年）9月2日、播磨国美嚢郡に1,000石を給う。秀吉の弟の豊臣秀長と不和となり、大久保忠世を仲介に徳川家康に仕官を願ったが、信濃国蘆田の叔父の山口直之（赤井時家の四男・山口直友父）の元に在るよう命じられる。後に再び豊臣氏に仕官するが、また退いている。
慶長5年（1600年）、関ヶ原の戦いに東軍として参加。戦後、大和国十市郡に1,000石を賜り、戦前に与えられていた領地と合わせて2,000石の旗本となった。
