北斉の北徐州刺史の張晏之の子として生まれた。聡明で群書に通じ、伯父の張暠之に「虔威はわが家の千里の駒なり」と評された。12歳のとき、北徐州主簿に任ぜられた。18歳のときに太尉中兵参軍となり、後に太常丞に累進した。北斉が滅ぶと、北周に仕えて宣納中士となった。
楊堅が北周の政権を握ると、虔威は召し出されて相府典籤となった。隋が建国されると、晋王楊広の下で并州に赴任し、刑獄参軍となった。楊広は虔威の才能を愛して、河内の張衡とともに礼遇し、晋王府では「二張」と称された。楊広が太子となると、虔威は員外散騎侍郎・太子内舎人に転じた。
煬帝（楊広）が即位すると、虔威は内史舎人・儀同三司に任ぜられた。まもなく開府儀同三司の位を加えられた。謁者大夫に任ぜられ、江都への巡幸に従い、本官のまま摂江都賛治をつとめ、幹理と称された。ときに煬帝は巡幸を重ね、民衆は疲弊していたので、虔威は上奏して諫めた。煬帝は喜ばず、虔威をうとんじるようになった。しばらくして虔威は在官のまま死去した。