斛斯椿の子として生まれた。幼くして聡明で、5歳で『孝経』や『周易』を暗誦できたといわれる。534年（永熙3年）、父とともに孝武帝の入関に従った。成長すると、書物を広く渉猟して、とくに三礼に詳しく、音律に理解があった。父の勲功により城陽郡公に封じられた。西魏の大統末年、通直散騎常侍を初任とし、太常少卿に進んだ。
雅楽が廃れていたため、斛斯徴は典故にあたって、新たな楽法を創始した。また錞于という楽器を蜀で手に入れて、これを広めた。干宝の『周礼注』の記述をもとに芒筒という楽器を作成した。これらの楽器を取り入れた合奏楽を作りあげた。
556年（恭帝3年）、六官が建てられると、司楽下大夫に任じられた。後に司楽中大夫に進み、驃騎大将軍・開府の位を受けた。さらに内史下大夫に転じた。568年（天和3年）、北周の武帝に学問の教授の才を買われて、皇子たちに儒学を講義し、夫子と呼ばれた。571年（天和6年）、司宗中大夫の位を受け、楽部を管轄したまま、内史を代行した。岐国公に封じられ、まもなく小宗伯に転じた。小宗伯のまま、太子太傅に任じられた。
578年（宣政元年）、宣帝が即位すると、斛斯徴は上大将軍・大宗伯となった。武帝の葬儀にあたって、葬儀を早く済ませたい宣帝の意向に反して、礼法による七月の殯を主張したが、聞き入れられなかった。また鄭訳の献上した新楽の採用に反対した。そのほか宣帝の過失を指摘して、たびたび諫めたため、宣帝に忌避され、鄭訳の誣告を受けて、獄に下された。獄卒の張元がかれを哀れんで佩刀を差し入れたため、斛斯徴は獄の壁に穴を空けて脱獄した。このため張元は拷問を受けたが、事情を話すことはなかった。のちに斛斯徴は赦を受けて罪科を免じられた。
581年（開皇元年）、隋の文帝が即位すると、斛斯徴は官に復帰して太子太傅に任じられ、『楽書』の編纂を命じられた。584年（開皇4年）、死去した。享年は56。著作に『楽典』10巻があった。
子の斛斯該が後を嗣いだ。