大西氏は鎌倉時代に中央より荘官として派遣されてきた近藤氏が大西郷に依り、改姓したものである。頼武は最初は細川氏に属し、後に三好長慶の妹を娶って阿波西部から讃岐南部、伊予東部、土佐北部で最大勢力を誇った。やがて長宗我部元親の四国統一の気運が高まると、四国の中央に位置する白地城はその標的にあう。天正5年、元親が阿波侵攻を開始すると、当主の父・覚用は一族の頼包を人質に出して長宗我部家と和睦を結ぶが、ほどなく三好氏の要請に応じて三好側に寝返った。元親は人質になっていた頼包を案内人として白地城の支城、田尾城をわずか2日で攻め落とすと、当主の覚用は讃岐へと落ちのびたが、頼武はその過程で自刃したと伝えられる[1]。