張安世は父の任子により郎となり、尚書に任命されて昇進した。行幸中の武帝が大事にしていたある書籍を紛失してしまう。だが、たまたま張安世がその本の内容を暗記していた。それで、彼は武帝のためにその内容を全て暗唱し、武帝は尚書令に抜擢した。
やがて武帝が崩御して、その末子の劉弗陵（昭帝）の代になると、右将軍・光禄勲となった。大司馬大将軍の霍光の信頼も厚く、富平侯に封ぜられた。元平元年（紀元前74年）に昭帝が亡くなり昌邑王劉賀が即位すると、霍光の命で張安世は車騎将軍・光禄勲となり、近衛兵を率いて、昌邑王の300名の家臣を逮捕した。
ついで霍光と張安世らは宣帝を擁立した。紀元前68年に霍光が亡くなると、宣帝は専横を極めた霍氏の弱体化のために、いったん張安世を解任したが、彼は宣帝の信頼が篤いためにすぐに大司馬衛将軍に任命され、衛尉・城門・北軍の兵を掌握することとなった。
こんな逸話がある。宣帝が霍光在命中に馬車で霍光と隣合わせで乗車した時は、肩が張って表情が強張ったという。だが霍光が亡くなり、代わりに張安世が隣合わせて乗車した時は、宣帝は緊張感をほぐし表情も穏やかだったという。
元康4年（紀元前62年）に亡くなり、敬侯の諡を送られた。
張安世は宣帝から信頼され絶大な権力を握ったが、出来る限り目立つことを避けようとし、わざと国政の大事の決定に参与したことを隠したり、自分や一族に対する宣帝の恩寵を辞退するなどといったことがしばしばであった。