若くして楊堅に知られ、後に召されて丞相参軍事となった。隋の開皇年間、并州司馬に累進した。604年（仁寿4年）、漢王楊諒が挙兵すると、その部将の劉建が井陘を攻撃した。張祥は官軍に属して抗戦したが、劉建が城下に火をかけたため、民家が火災を起こした。このとき張祥が城側の西王母廟に泣いて降雨を祈願すると、廟上に雲が起こり、まもなく驟雨が降って、火は消し止められたと伝えられる。城の兵士たちは張祥の至誠が神に届いたものと噂して、士気を高めた。井陘城が包囲を受けること1月あまり、李子雄の援軍がやってくると、劉建は敗走した。張祥は防戦の功績により開府の位を受け、汝州刺史・霊武郡太守を歴任し、入朝して都水監となった。在官のまま死去した。