天文年間（1532年 - 1555年）に、名東郡黒田村から板野郡土佐泊（現鳴門市）に移った森元村によって築城された[1]。土佐泊城は紀伊水道と瀬戸内海の入口を抑える要衝だった[1]。森氏は強大な水軍を持っており、細川氏、三好氏、蜂須賀氏の歴代阿波領主から重用された[1]。
1582年、土佐の長宗我部元親が侵攻した際は、阿波、讃岐の殆どの城が長宗我部方に落ちた中で、落城せず持ちこたえた[1]。森氏は阿波に入部した蜂須賀家政から福井庄など3026石を拝領し、1586年（天正14年）椿泊に移った[1]。
