元亀2年（1571年）頃、南部氏から独立した大浦為信が次々と津軽地方の国人領主を滅ぼしていく中、行安は飯詰城主として抵抗した。
しかし、天正16年（1588年）大浦氏により飯詰城は包囲され、行安を初め朝日一族は籠城した。兵糧の蓄えがあったが、為信により城内に通じる水脈を絶たれた。そのため、白米で馬を洗って見せるなど必死の抵抗をするも見破られ、数日後に飯詰城は落城した。行安は自害し、一族も徹底的な捜索の末に惨殺され朝日一族は滅亡した。その後、城址周辺では、鎧武者や女の亡霊が現れたり、日照りや長雨などの天候不順に見舞われ、朝日一族の祟りと噂された。
ただし、この伝承も『東日流外三郡誌』の影響を受けた書物でしか確認できず信憑性が低い。