清朝では、北洋武備学堂卒業後に袁世凱が創設した新建陸軍に所属した。以後、左翼砲兵領官、北洋常備軍協統、山海関巡防営統領、北洋第5鎮鎮統、天津鎮守使、直隷混成協統領官などを歴任した。
1912年（民国元年）1月、幇弁山東防務大臣となる。その後に安徽巡撫に異動した。1915年（民国4年）8月、察哈爾（チャハル）都統に就任している。12月に袁世凱が皇帝に即位すると、一等男爵に封じられた。1916年（民国5年）5月、済武将軍に封じられ、署理山東軍務（いわゆる山東将軍）となった。
同年6月の袁世凱死後、7月に張懐芝は山東督軍に任命された。これ以後、張は安徽派に属して段祺瑞を支援し、安徽派督軍による「十三省連合会」（いわゆる「督軍団」）にも名を列ねている。1918年（民国7年）2月、湘贛検閲使に任命され、湖南省に遠征したが敗退した。1919年（民国8年）1月、北京政府の参謀本部総長に任命された。
1920年（民国9年）の安直戦争の直前には、総統徐世昌の命により、張懐芝は、姜桂題とともに直隷派との調停に奔走したが成功しなかった。安徽派が敗北すると、張は直隷派に転じている。1924年（民国13年）9月の第2次奉直戦争では、参謀総長兼前敵総執法処処長として直隷派に加わった。しかし、奉天派に敗北し、張も下野した。以後、天津に隠居する。1934年（民国23年）、病没。享年73。
.svg){kind=small}
