黒竜江省陸軍小学、陸軍第一予備学校を卒業後、1916年（民国5年）8月に保定陸軍軍官学校第5期生として入学した。1918年（民国7年）9月に卒業し、山西省で学兵団連長として任に就く。以後、山西督軍公署参謀、太原国民師範学校軍訓副主任、山西陸軍第10団団長などを歴任した。1926年（民国15年）夏、国民軍との戦いで負傷し、一時辞職して郷里に戻っている。
その後、傷の癒えた張蔭梧は教導団主軍官として復帰した。山西都督閻錫山が国民革命軍に易幟した後の1927年（民国16年）9月、張は国民革命軍北方軍第7軍副軍長兼左路軍前敵総指揮に抜擢され、北伐に参加している。翌年3月、国民政府軍事委員会委員も兼任し、6月には北平警備司令となった。10月、第42師師長となり、1929年（民国18年）6月には北平特別市市長に起用された（1931年2月まで在任）。
1930年（民国19年）の中原大戦に際しては、反蔣介石側についた閻錫山配下として張蔭梧は第4路総指揮を務めたが、反蔣軍敗北とともに閻に従い張も下野した。その後、張は帰郷し、北平で四存中学を創設し自ら校長となっている。1932年（民国21年）2月、山西省政府に復帰し、晋綏軍事整理委員会常務委員兼軍官教導団団長に任命された。1934年（民国23年）11月、河北省政府委員に任ぜられ、県政建設研究院院長も兼任した（1935年12月まで在任）。1936年（民国25年）1月、陸軍中将の位を授与されている。
1937年（民国26年）に日中戦争が勃発すると、張蔭梧は軍事委員会委員長保定行営民訓処処長に任ぜられ、同年11月、河北民団総指揮としてゲリラ戦を担当した。翌年6月、河北省政府委員に復帰し、9月に同省政府民政庁庁長を兼任している（1939年2月に正式に民政庁長に就任）。その後も軍事委員会中将高参、中国国民党中央訓練団党政訓練班指導員、冀察戦区総参議兼戦区党政委員会副主任委員、甘粛省立徽県師範学校校長を歴任した。1943年（民国32年）2月、三民主義青年団第1期中央監察会監察に選出された。なお戦時中には、いわゆる「曲線救国」（一時的に日本側に降伏しつつ、実際には蔣介石らへの通謀・協力を行うこと）の容認を主張したとされる。
戦後に張蔭梧は平漢鉄路北段護路司令に任ぜられたが、まもなく辞任し、四存中学校長に復帰した。その後も制憲・行憲の国民大会で代表に当選している。中国人民解放軍へ北平が開城された後の1949年（民国38年）2月、張は河北民衆自救会を組織して国民党側への北平奪還を図ったが、失敗に終わり捕虜とされた。
同年5月27日、北平でそのまま獄死した。享年59。
.svg){kind=small}
