言い伝えによると、かつて波切不動明王（波切不動）を信仰している広光金二という漁師（または釣り好きの神職）が嵐のため遭難し、波に漂っているとき笹のような葉をつけた小枝にしがみついた。その枝が波切不動の境内にある神木・梛の木であり、金二は助かったとされている[1]。
1934年（昭和9年）の室戸台風で、もう1本あったなぎの木が倒れ1本となった[1]。
1969年（昭和44年）の国道改修工事の際に伐採される予定だったが、建設省は地元の反対を受けて残すこととした[1]。国道の中央分離帯を設置してナギの木と境内の一部とし、この部分のみ上下線を分離した[1]。地元住民は年1度、この樹のために春の大祭を実施している。
