張楷の子として生まれた。沈着にして才略があったが、後漢末年の動乱にあって官に仕えなかった。司空の張温にたびたび辟召されたが、応じなかった。185年（中平2年）、張温が車騎将軍として涼州の辺章らの反乱を討つべく出立しようとすると、張玄は畑の家屋から出てきて、張温の握っている兵権によって宦官の十常侍たちを粛清するように勧めた。張温が決断できないのを見ると、張玄は立ち去り、魯陽山中に隠居した。董卓が政権を握ると、張玄は掾として召し出され、侍御史に推挙されたが、官に就かなかった。
董卓が兵を派遣して脅したため、張玄はやむをえず任用に応じることにしたが、輪氏県までいたって病没した。