室町時代から戦国時代にかけては肥前守護所である綾部館の詰城として足利一門の一色氏、今川氏が居城していた。応永9年（1402年）ごろに、足利一門の渋川満頼が拠点として以降、九州探題と肥前守護を兼任した渋川氏の代々の居城となった。
『海東諸国記』によれば、
九州節度史(九州探題)は、肥前州綾部に居す。……民居一千余戸、正兵二百五十余なり。九州の兵を総治す。
とあるが、当時の渋川氏は東肥前の一勢力に衰退していた。渋川氏は中国地方の大内氏の後援を受けて、敵対する少弐氏、菊池氏と戦い、しばしば筑前に逃れている。
この頃の綾部氏は渋川氏に従っていたが、天文3年（1534年）に渋川氏は滅んでいる。
元亀2年（1571年）に綾部鎮幸が龍造寺隆信に敗れると筑紫氏が入り、後に龍造寺氏に譲られている。
なお、近隣の少弐山城を綾部城と呼ぶことがあり、戦国時代には少弐氏の一門である馬場氏の居城となった。
