Cependant, Li Heng, le fils de l'empereur Xuanzong et prince héritier, ne suit pas son père et s’enfuit à Lingwu, où il est déclaré empereur, sous le nom de Tang Suzong. Lorsque la nouvelle parvient à l'empereur Xuanzong, il reconnaît son fils comme empereur légitime et prend le titre de Taishang Huang, ce qui signifie "Empereur retiré". Il envoie un certain nombre de fonctionnaires, dont Zhang Gao, aider l'empereur Suzong. C'est en 757 que Zhang arrive à la Cour Impériale de fortune de l'empereur Suzong, située à Fengxiang (鳳翔), ce qui correspond actuellement à la ville de Baoji, au Shaanxi. Rapidement, l'empereur Suzong est impressionné par les suggestions de Zhang, et il le nomme Jianyi Daifu (諫議大夫), ce qui correspond à un poste de consultant du Bureau des Examens. Il est rapidement promu en tant que Zhongshu Shilang (中書侍郎), soit chef adjoint du Bureau Législatif (中書省, zhōngshū shěng) et il reçoit le titre de Tong Zhongshu Menxia Pingzhangshi (同中書門下平章事), ce qui fait de lui un chancelier de facto. Lorsque Zhang accède à ce poste, l'empereur Suzong a réuni autour de lui plusieurs centaines de moines bouddhistes, auxquels il fait réciter les sutras jour et nuit, dans l'espoir d'attirer la faveur divine. Du coup, les voix des moines résonnent en permanence à l'intérieur et à l'extérieur du palais impérial improvisé. Voulant mettre fin à cette pratique, Zhang va voir l'empereur Suzong et lui tient le discours suivant[4] :
« Un empereur ne peut réprimer une rébellion et calmer son peuple qu'en améliorant ses vertus. On ne peut pas pacifier le royaume en donnant simplement de la nourriture aux moines. »
L'empereur Suzong aurait approuvé les paroles de Zhang, mais les sources historiques chinoises n'indiquent pas si les prières ont cessé.
Très vite, l'empereur Suzong se met à penser que Zhang est brillant à la fois en matière civile et militaire. En conséquence, il nomme rapidement Zhang gouverneur militaire ( jiedushi ) du circuit du Henan (河南), ce qui correspond, grosso modo, aux actuelles provinces du Henan et du Shandong. Zhang devient donc le commandant des troupes de la région à la place de Helan Jinming (賀蘭進明). Zhang sait qu'à ce moment-là, le général Zhang Xun et la ville qu'il défend, Suiyang, subissent un siège particulièrement long et difficile. Pour venir en aide aux assiégés, il essaye de faire marcher ses troupes au double de la vitesse normale et ordonne aux généraux de la région de se rendre à Suiyang pour essayer de venir en aide à Xun. Mais malgré tous ses efforts, au moment où il arrive sur les lieux, Suiyang est déjà tombé et Zhang Xun exécuté par Yin Ziqi (尹子奇), un des généraux du Yan. Furieux, Zhang Gao convoque Luqiu Xiao (閭丘曉), l'un des généraux qui a désobéi à ses ordres et qui a refusé d'essayer de sauver Suiyang, et le fait exécuter à coups de bâtons. Par la suite, une armée composée de soldats Tang et de leurs alliés Ouïgour réussit à reprendre Luoyang, la capitale orientale des Tang. Cette même armée avait déjà repris Chang'an plus tôt. Après cette victoire, Zhang et cinq gouverneurs militaires sous son commandement, à savoir Lu Jiong (魯炅), Lai Tian, Li Zhi (李祇) le prince de Wu, Li Siye et Li Huan (李奐), reprennent le contrôle des commanderies de toute la région du Henan et du Hedong (河東), ce qui correspond à peu près à l'actuelle province du Shanxi. Seules deux commanderies, où les généraux Yan Neng Yuanhao (能元皓) et Gao Xiuyan (高秀巖) réussissent à repousser les attaques des Tang, lui échappent. Pour le récompenser, Suzong donne à Zhang le titre de duc de Nanyang.
Pendant ce temps, les forces Tang assiègent An Qingxu, le fils et le successeur d'An Lushan, à Yecheng. Dans le même temps, Shi Siming, le dernier général encore fidèle aux Yan, fait sa soumission aux Tang et leur livre Fanyang (范陽), une ville dont le site est actuellement englobé dans la métropole de Pékin. Dès lors, la Chine semble sur le point de connaitre à nouveau la paix. Cependant, Zhang se méfie de Shi et pense qu'il ne fait que gagner du temps avant de se rebeller à nouveau. Il conseille donc à l'empereur Suzong de faire preuve d'une extrême prudence à l'égard de Shi. Il se méfie également d'un autre général, Xu Shuji (許叔冀) et suggère à l'empereur Suzong de le rappeler à la capitale. Cependant, l'empereur Suzong préfère faire confiance aux rapports des eunuques qu'il a envoyé rencontrer Shi et Xu, et qui déclarent que les deux généraux sont dignes de confiance. C'est ainsi qu'au printemps 758, l'empereur Suzong démet Zhang de ses fonctions de chancelier et de gouverneur militaire, avant de l'envoyer défendre la préfecture de Jing (荊州), ce qui correspond à peu près à l'actuelle ville de Jingzhou, au Hubei. Cependant, la suite des événements donne rapidement raison à Zhang, car Shi se rebelle rapidement et réussit à rallier Xu à sa cause après lui avoir infligé quelques défaites. Zhang est rapidement rappelé à la Cour pour faire partie du personnel au service de Li Yu, le prince héritier de l'empereur Suzong, et occuper le poste de Zuo Sanqi Changshi (左散騎常侍), soit conseiller de haut niveau du Bureau des Examens. En 761, un complot visant à faire monter sur le trône Li Zhen (李珍) le prince de Qi et cousin de l'empereur Suzong, est découvert. Or, Zhang ayant acheté un manoir à Zhen, il est considéré comme étant un associé et complice du prince de Qi. L'empereur Suzong décide donc de l'exiler dans la préfecture de Chen (辰州), ce qui correspond à peu près à l'actuelle ville de Huaihua, dans le Hunan, pour y prendre un poste d'officier de recensement.
