築城年代は不明であるが永禄年間（1558年～1570年）に東条紀伊守によって築城されたと云われる。東条紀伊守は桑野城城主東条関之兵衛の伯父である。
天正年間（1573年～1592年）に東条氏が長宗我部氏に降ってから、三好氏に属する牛岐城城主新開道善に対峙するため、東条関之兵衛が西方城の城主になったと考えられる。新開道善が長宗我部に降るまで前進基地として使用された。
天正10年（1582年）に阿波平定以後、東条関之兵衛は木津城城主となった。
天正13年（1585年）、豊臣秀吉の四国攻めの際に戦わずに関之兵衛は土佐へ逃亡。その後、阿波公方家の隠居所としても使用されていた。
なお、関之兵衛とその弟・東条唯右衛門は元親によって処刑された。
