深水長智は一族に優れた者がいなかったため、犬童頼安の子・犬童頼兄を、相良家を取り仕切る奉行（執政）にしようとしたが、代々深水家が務める役目であるとして一族の竹下監物らに反対された。長智はやむなく頼蔵を、既に死去していた嫡子・深水摂津介の代わりに自らの後継としたが、この者では心許なく思い、藩主・相良頼房の許しを得て、頼蔵、頼兄の両人を同格の奉行とすることにした。
天正20年（1592年）2月1日、頼房は青井阿蘇神社に参詣し、そこで頼蔵と頼兄に相良姓を与え、頼蔵は相良左馬介頼蔵となった。またこのとき、頼蔵を自らの軍師（参謀とも）とし、頼兄をその補佐役と定める。しかし頼蔵は魯鈍な性格で、頼兄は鋭敏であって、常に頼蔵より前に出る傾向にあったので、次第に両者は不仲となっていった。
同年、朝鮮出兵が始まり人吉藩にも出征命令が下るが、頼蔵は頼兄との不仲が原因でこれに従わなかった。頼蔵は球磨の山田に引き籠ったが、竹下監物に説得されてようやく渡海している。頼房も二人の不仲を憂慮し、朝鮮出兵の際には両人に誓紙を書かせている。
文禄2年（1593年）、頼蔵派である竹下監物とその嫡子の知行が太閤検地により真先に召し上げられるのだが、監物はこれを頼兄の計略と訝った為に不穏な状況となり、深水一族600人は湯前城に籠城する。ちょうど朝鮮に渡海していた頼房は、頼蔵を呼び出し詰問するが、自分は関知していない旨を伝える。頼房は籠城した者らに切腹を命じ、監物ら数名が切腹して事態は一応の沈静化をみた。
慶長元年（1596年）10月13日、相良頼房が大坂から球磨に帰還した折、頼蔵は加藤清正の元へ出奔、実父の織部もこれに続き佐敷（現：熊本県葦北郡芦北町）に住んだ。頼兄は二人の妻子を捕えて監視させたが、これに深水一族は反発、恨みから町屋を殺掠する事件にまで発展する（犯行に及んだ9人が討ち取られ、残りは逃亡）。また頼蔵の移り住んだ佐敷が深水氏縁故の土地であった為に、出奔を企てる深水一族が後を絶たず、犬童頼兄はその通路に待ち伏せさせ、一挙に73人を殺害した。これらの事から頼蔵は、頼兄の深水一族への行為は私怨によるものであるとして石田三成に訴え出たが、頼兄は主君・頼房からの証文を所持していた為、逆に捕縛命令が出されてしまう。その追手は山井五郎により殺害され、頼蔵は事無きを得たものの、清正に従い渡海した後、蔚山の戦いにて没する。
この犬童頼兄と深水頼蔵ら深水一族の対立は人吉藩の藩内抗争を招き、版籍奉還を迎えるまで治まらなかった。