張玉はモンゴル帝国に仕え、主に南宋との戦闘で活躍した張栄実の息子の一人であった[1]。
張玉は父の張栄実が1278年（至元15年）に死去した後、父の職を受け継いで懐遠大将軍・諸路水軍万戸とされた。1279年（至元16年）には吉州の賊を討伐する功績があり、金織文衣・弓矢・佩刀を下賜されて輔国上将軍・都元帥・兼水軍万戸に任命され、黄州を鎮守した。ついで命を受けて元帥タングタイとともに蘄黄等路都元帥府を立て、河南江北道の鎮守軍馬の管領を行った。1283年（至元20年）には広東で盗賊が起こりチャンパー遠征軍への補給路が途絶えたため、1284年（至元21年）に張玉がこれを討伐した[2]。その後参知政事の也的迷失とともに入朝し、金織文衣・鞍勒・弓刀を下賜された[3]。
その後、元帥タングタイが職を辞したことに伴い、保定水軍上万戸に任命された。1285年（至元22年）には鄱陽湖で反乱が起きたため、水軍万戸府を南康路に移した。1287年（至元24年）からは参知政事ウマルの指揮下に入って第三次ベトナム遠征に従軍し、緒戦で戦功があった[4]。しかし 1288年（至元25年）に入るとモンゴル軍は劣勢となり、帰還しようとするも、ベトナム軍の逆襲を受けて大敗を喫した（白藤江の戦い）[5]。張玉の属する部隊も大戦を連日続けた末、船が航行できなくなったことにより張玉は戦死した[6]。張玉の死後、息子の張輔が地位を継いで万戸となり、さらにその後張輔の息子の張道重が地位を継承した[7]。