天文14年（1545年）、大隅国上井領主であった上井薫兼の子として誕生。
永禄2年（1559年）の元服と共に島津貴久に仕えた。2年後に肝付兼続の籠る廻城攻めにて初陣を迎えて以後、日向国侵攻や大隅侵攻で活躍している。
貴久死後はその子・義久の側近として仕え、天正元年（1573年）より申次役に任命され、天正4年（1576年）からは老中の一員となって島津氏の政治を取り仕切った。同年8月の義久に就いての高原城攻め、天正6年（1578年）島津以久の副将としての石ノ城攻め、更に耳川の戦いにも参戦した。そして天正8年（1580年）より日向の抑えとして宮崎城守備を命じられ行政面で活躍、日向地頭職に任ぜられ、実質的に日向一国を任されている。
天正12年（1584年）10月1日から7日にかけて、島津義弘から金瘡医術の伝授を受け、秘伝の医書を与えられている。金瘡医術とは戦傷全般とこれに付随する病気、およびこれから派生する婦人病を扱った医術のことである[3]。
天正12年10月、有馬晴信から南蛮犬を贈られている。この南蛮犬を見ようと多くの見物人が集まり、島津義虎や島津忠長もわざわざ来たほどであった[4]。覚兼はこの南蛮犬があまりにも珍犬であったので島津義久に献上した。義久は、阿多忠辰にこの犬を殿中で飼育することの可否を占わせた。その結果、飼育は不可であると出た。そのためこの南蛮犬は覚兼に返戻されてしまった[5]。
天正15年（1587年）、島津家久に従って豊臣秀長の軍勢と戦ったが、敗れて家久と共に降伏する。そしてその後は伊集院地頭職に任じられ伊集院に隠棲、その地で病没した。なお、子の経兼から以後は、祖父以前からの姓である「諏訪氏」を称した。
また、覚兼は優れた教養人でもあり、彼が記した『上井覚兼日記』や『伊勢守心得書』などは島津氏の首脳陣の政策決定などを知る記録資料としてのみならず、信仰生活など戦国大名家の日常を知る記録としても高く評価されている。
