永正8年（1511年）、15代当主・肝付兼興の長男として生まれる。
天文2年（1533年）、父・兼興が死去すると、叔父の兼親（兼執）を滅ぼして家督を継いで16代当主となる。
兼続は隣国の島津氏との関係を重視し、島津忠良の長女・御南を妻として迎える一方で、妹を忠良の子・島津貴久に嫁がせて良好な関係を保とうとした。一方で大隅の平定に着手し、天文7年（1538年）には高岳城を落としたのを契機に、大隅をほぼ平定した。天文11年（1542年）に百引城や平房城、天文13年（1544年）に安楽城、天文15年（1546年）に逢原城など諸城を落とし、大隅における肝付氏の勢力拡大に努めた。天文22年（1553年）、嫡男・良兼に家督を譲って隠居し出家したが、実権は握り続けた。
永禄元年（1558年）、それまで親密な関係を保っていた島津氏との関係が崩れて、兼続は日向の伊東氏と結んで島津忠親と戦った。永禄4年（1561年）には廻城を奪取して島津貴久と本格的に敵対し、竹原山の戦いで貴久の弟・忠将を討ち取って大勝した。このとき、兼続は御南に離縁を迫ったが、御南は応じなかったといわれる。
永禄5年（1562年）には志布志城を落とし、肝付氏の最大領土を形成した。そしてここに隠居所を築き、隠居生活を送りながら政務を見たといわれる。永禄7年（1564年）には日向福原で島津忠親と戦って勝利し、永禄9年（1566年）には島津方の北郷時久と戦って勝利し、福島まで進撃する。
しかし11月14日、島津貴久の反攻を受けて居城である高山城が落とされる。兼続の行方ははっきりしないが、一説には隠居城の志布志付近で翌11月15日に自殺したとされる。享年56。
墓所は志布志の下小西児童公園内。