地方役人の家庭に生まれる。1902年（光緒28年）、挙人となり、1904年（光緒30年）、内閣中書に及第した。1906年（光緒32年）、考察政治館の館員に選ばれ、その後、黒竜江将軍程徳全の幕僚となった。黒竜江では、調査局総弁、財政局会弁などを歴任する。
1911年（宣統3年）2月、東三省総督錫良（シリャン）により、交渉局総弁に任じられた。6月、中央に戻り、統計局副局長に任じられる。12月に袁世凱が南方の革命派と和平交渉を開始すると、張国淦は参議として唐紹儀に随従し、これに従事した。
中華民国成立後、張国淦は、北京政府の銓叙局局長、国務院秘書長に任命された。その後も総統府秘書長、内務部次長などの要職を歴任した傍ら、同郷の副総統・黎元洪との親交を深めている。このほかにも段祺瑞や徐世昌とも親しくなり、袁の皇帝即位前後で段との対立が激化すると、張がその調停に努めた。
袁の死後は、黎が大総統となり、段が国務総理となる。張国淦は、国務院秘書長、農商総長、司法総長などの要職を歴任した。府院の争いの際には、両者と良好な関係にある張がその調停に奔走した。しかし西原借款が問題になると、農商総長の地位にあった張国淦は署名を拒否したため、段からの信任を失っている。それでも、安徽派の失脚とともに張は再登用された。以後も、段が臨時執政に就いていた間を除き、農商総長、教育総長、司法総長、内務総長などの要職を歴任した。
中国国民党の北伐により北京政府が崩壊すると、張国淦も下野し、天津に寓居した。日中戦争（抗日戦争）勃発後は、上海に移ったものの、親日政府への参加の誘いはすべて断り、在野で著述に専念した。中華人民共和国成立後も大陸に留まり、上海文史館館員などとして、回顧録の編集に努めている。
1959年1月25日、北京で病没。享年84（満82歳）。
.svg){kind=small}
