奥山氏は山香荘北部の奥山郷を本拠とする国人領主であり、室町期に山香荘の地頭であった遠江天野氏の所領を横領して支配を確立した。戦国期には遠江に侵攻してきた駿河今川氏に従属し、同じく従った遠江天野氏の同心となった[2]。
吉兼の父は奥山加賀守定吉とされ、複数の奥山氏の系統が存在する中で大膳亮を名乗る一族は惣領家であったという[3]。天文23年（1554年）9月に下伊那の遠山孫次郎の武田氏への従属を天野景泰が仲介している際の長坂虎房書状が史料上の初見とされる[1]。
永禄6年（1563年）に天野景泰・元景父子が今川氏に離反するとこれに同調し、今川氏真に対して反旗を翻してきた。この天野氏の叛乱は景泰が天野氏庶流の天野藤秀に討伐されたことで収束した。その一方で奥山氏も庶流の奥山定友・友久兄弟が今川方につくも、吉兼は奥山郷の支配を保ち続けた[2]。同10年（1567年）正月に定友・友久兄弟が今川氏真より吉兼の跡職を与えられたが、吉兼の勢力が未だ健在であり奥山郷を横領していたため替地を与えられている。今川氏真も吉兼ら奥山郷の敵対勢力の備えの為に、定友・友久兄弟や天野藤秀などに犬居谷西部にある中尾生城の普請を命じている。
永禄11年（1568年）12月より徳川家康・武田信玄による今川領国への侵攻が開始されると、吉兼と定友・友久兄弟は共に徳川氏に従属した。その後元亀3年（1572年）に武田信玄が徳川領国に侵攻を開始すると（西上作戦）、12月には武田氏に従属し御園郷（現・浜松市）他で2000貫文の知行を宛がわれた。これらの情勢の中で吉兼は一貫して奥山郷を保持していたと考えられ、かつて対立した庶流の定友・友久兄弟は今川氏より与えられた駿河国上長尾郷（現・川根本町）を本領とするようになった[2]。
その後の吉兼は天野藤秀と共に武田氏の遠江先方衆となり、徳川氏の遠江侵攻に対抗した。天正3年（1575年）5月に武田勝頼が長篠の戦いで織田・徳川連合軍に敗北し、6月に徳川軍の反攻により犬居谷が攻略される。勝頼は吉兼と天野藤秀ら北遠地域の武田方勢力を支援するため、吉兼の居城である高根城に伊那郡の松島・大草衆を、同じく奥山郷の大洞城に知久衆を派遣した[4]。その後も吉兼は奥山郷を保持し続け、同8年（1580年）9月には反抗する家臣を取り締まったことを勝頼から賞された。
天正10年（1582年）3月に武田氏が滅亡した後も奥山郷に在住し、同16年（1588年）11月に神原八幡社（現・浜松市天竜区水窪町）の造営の大旦那として名前が確認できる[1]。その後の動向は不明。