若くして太学生になり経史を渉猟し、三礼に詳しかった。国子監祭酒の令狐徳棻に才能を認められ、進士に及第し、清城県丞に任命された。永昌元年（689年）には賢良方正科から召されたが、張柬之は当時70歳で同じ科の千余人のうちで第一位とされ、監察御史を拝命し、鳳閣舎人に出世した。武周が東突厥と和親し、武則天が東突厥の女性を武延秀に娶ろうとしたのに反対して合蜀二州刺史に左遷され、当時雲南に無用の軍を動かして多大の損害を受けている実状を論じ、姚州総督府の廃止を上奏したが容れられず、荊州大都督府長史にされた。
長安にいた狄仁傑の推薦により召されて、司刑寺少卿・秋官侍郎となり、さらに姚崇の推挙により同鳳閣鸞台平章事を拝命し、鳳閣侍郎になった。当時武則天の寵愛をうけ横暴を極めた張易之・張昌宗兄弟を除くために、武則天が病衰したのに乗じて神龍元年（705年）に中宗を東宮に迎え、兵を発して張氏兄弟を斬り、武則天に「則天大聖皇帝」の尊号を奉って位を退かせ、中宗を復位させた。この功により、天官尚書・同鳳閣鸞台三品となり、漢陽郡公に封じられ、まもなく中書令・監修国史に転じ、漢陽郡王に進封された。病のために襄州に帰郷したときに襄州刺史を授けられ、その去るにあたって中宗は詩を賜り、公卿たちに定鼎門外まで送らせた。その後武三思と対立して瀧州司馬に左遷され、その地で死去した。睿宗の景雲元年（710年）に中書令を追贈し、漢陽郡公に封じられた。徳宗の建中元年（780年）に司徒を追贈された。