元の順帝トゴン・テムルに仕え、至正28年（1368年）に朱元璋・徐達の軍勢により大都が陥落すると、順帝に従って北走、北元に仕えた。張玉が明に仕官した時期については諸説があるが、至正30年/洪武3年（1370年）の順帝没後だと推測される。
洪武帝朱元璋崩御後に靖難の変が発生すると、朱棣に従い建文帝軍との戦闘で各地を転戦した。張玉は軍略よりも人心の機微に優れ、奪った敵城における人身の掌握など事後処理面が高く評価されている。李景隆や耿炳文など建文帝軍の稚拙な指揮にも助けられて建文帝軍を各地で撃破している。建文2年12月（1401年1月）、兵力で勝る建文帝軍は盛庸が指揮する軍勢により東昌にて朱棣を包囲した。この際に張玉は決死隊を募り城外出撃を敢行し、敵軍を攻撃、建文帝軍は包囲を解除せざるを得なくなり、朱棣は危機を脱することができたが、張玉自身も戦死している。
朱棣が即位（永楽帝）すると、張玉の死を悼み都指揮同知と栄国公を追贈された。洪熙帝が即位すると、河間王を追贈された。諡は忠武といった。