城跡は笠岡市南東部と浅口市寄島町の境である旧大島地区の青佐山（標高249m）にある。築城者は、当時の備中介であった安倍晴明であるとも伝えられているが、伝承の域を出ない。
室町時代には、細川氏（野州家）が浅口郡一帯を鴨山城を本拠として領有していたが、戦国時代を迎えると勢力を失い、尼子氏、宇喜多氏等の圧迫を受けて分郡のあった伊予国へ退いた。伊予国の川之江に在城していた一族の細川通薫は、毛利氏の援助を受けて永禄2年（1559年）に青佐山に入り旧領回復の拠点とした。通薫は細川家旧臣たち（赤沢・大内・安部・秋田・河田・藤沢・今城・大島氏ら）に迎えられると、山麓に屋形を設け、周りに家臣を配置した。また城の鬼門の守りには「八幡宮（大浦神社）」を遷座勧請し、伝統文化や産業の振興に力を入れた施策を行った。通薫は勢力拡大を図り、永禄9年（1566年）に浅口市の六条院竜王山に城を創築し本城としたが、それまでの7年間を青佐山に在城した。通薫はやがて鴨山城を奪回し、そこを本城としてこの地の支配を行った。「関ヶ原」の後、毛利氏の移封に際しては、この地の細川氏も長門国へ去った。江戸時代には池田氏の領有となったが、多くの例にもれず城は破棄されている。
また青佐山東側（浅口市側）の中腹には、岡山藩が文久3年（1863年）に海防のために築いた台場跡がある。幕末の攘夷論の隆盛に伴い、時の藩主池田政詮（章政）も海防の必要性に迫られ、奉行岡本甚等に命じて沿岸各地に砲台を造らせた。その一つが青佐山の台場であり、藩主を迎えて実際に試射が行われたとのことである。
