北周の都督雍州諸軍事・湖州刺史の皇甫道の子として生まれた。3歳で孤児となり、外祖父の韋孝寛に養育された。韋氏の諸兄たちとすごろくあそびに興じていたとき、韋孝寛は諸兄たちの自堕落を叱責したが、皇甫績には幼い孤児なのをあわれんで、叱責しなかった。皇甫績は「わたしにお教えがないのは、外氏に養われているからである。われが我が身に勝たなければ、人として立つこともできない」と嘆いて、自ら周囲の人間に命じて30回鞭打たせた。以後は学問に精進して、経書や史書を読むようになった。
北周の武帝が魯公だったとき、召し出されて侍読となった。572年、宮尹中士に転じた。574年7月、武帝が雲陽宮に避暑におもむくと、宇文贇（後の宣帝）が太子として監国をつとめた。衛王宇文直が乱を起こし粛章門を攻撃したので、皇甫績は異変を聞いてかけつけ、玄武門で太子宇文贇と合流した。乱が平定されると、武帝が皇甫績を賞賛し、皇甫績は小宮尹に転じた。578年、前後の功績により、義陽県男に封ぜられ、畿伯下大夫の位を受けた。後に御正下大夫に転じた。
580年、宣帝が死去し、楊堅（後の隋の文帝）が北周の国政を掌握するにあたって、皇甫績の貢献は大きかった。皇甫績は上開府の位を加えられ、内史中大夫に転じ、封は郡公に進んだ。まもなく大将軍に任ぜられた。
581年、隋が建国されると、豫州刺史として出向した。まもなく都官尚書に任ぜられた。数年後、晋州刺史に転じた。南朝陳に対する征戦の任につけるよう上書し、その希望は容れられた。陳が平定されると、蘇州刺史に任ぜられた。
590年、高智慧らが江南で乱を起こすと、蘇州の民の顧子元が起兵して呼応し、皇甫績を攻め、対峙すること80日におよんだ。顧子元はもともと皇甫績に恩を感じていたので、冬至の日に使者を派遣して牛酒を贈った。皇甫績は顧子元に手紙を送り、改悛して隋に帰順するよう勧めた。顧子元は手紙を受け取ると、城下で頭を下げて感謝の言葉を述べたが、降ることはなかった。楊素の援兵がやってくると、皇甫績は楊素の軍と合流して顧子元を撃破した。信州総管・都督十二州諸軍事に任ぜられた。病のため隠退を願い出て、長安に召還された。文帝から薬を賜り、見舞いの使者は絶えなかった。闘病の末に私邸で死去した。享年は52。諡を安といった。
子の皇甫偲が後を嗣いだ。大業年間に、官は尚書主爵郎にいたった。