佐世・金剛山は佐世氏の拠点で、いつごろ築城したかはっきりしていないが、佐世を支配管理し、また外敵に備えるのにも立地条件がよく、古くから城砦があった。
佐世氏が成長するに至ったのは応仁の乱以後と思われ、6代佐世為徳以降に築城されたものと思われる。
現佐世城の近くに出城として小木戸城があり、為徳が築城したという。
小木戸城は佐世城以前に佐世の本城であったといわれ、佐世城は後年佐世清宗が築城移転したともいわれる。
8代佐世清宗は尼子御家老衆のうち、宇山飛弾守に次ぐ重臣で備後内12万石を領していた。
永禄8年（1565年）、月山富田城の戦いの際には清宗は月山富田城での守備に就き、佐世城の留守は佐世元嘉が守備していた。
父清宗が富田在陣中に毛利氏に攻められたが、元嘉は毛利方と適切な対応をして、流血する事無く処理しえたという。
また別説には永禄8年以前にすでに落城していたという説もある。
