清の乾隆帝時代に胡一刀の息子として生まれる。李自成の護衛をしていた胡姓の男の末裔。生まれてまもなく両親が苗人鳳との戦いで命を落としたため、親代わりの平阿四に育てられる。武術は父・胡一刀が残した武術書を頼りに修練し、特定の師匠にはついていない。ただ、少年時代、紅花会の趙半山からそれとなく武術の要訣を学び、大いに成長した。なお、趙半山がおおっぴらに武術を教えてくれなかったのは、胡斐の師父の面子を考慮してのこと。もっとも、前述のように胡斐に師匠はおらず、父の残した武術書を頼りに独学で武術を習得していたため、趙半山の心遣いにあまり意味はなかった。
「武」のみならず「俠」の部分が強調されており、少年期に自分のために命乞いをしてくれた馬春花の恩を忘れることなく、数年後に馬春花とその息子たちのために清と対立することになる。また、行きずりで何の縁もない鍾阿四の家族のために闘ったり、これまた縁のない（実は父の仇）である苗人鳳が失明したときなどは、危険を顧みず解毒剤を求め毒手薬王のもとに赴いている。
その後、『雪山飛狐』では27歳となった胡斐が描かれている。このときは、少年期に出会った程霊素との思い出からか、髪を結いもせず、髭も髪もぼうぼうに伸ばしている恐ろしげな容姿をしていた。また、少年期に学問をする描写はなかったが、教養にも豊かな人物となっており、『飛狐外伝』と『雪山飛狐』の空白期間にある程度の学問も修めたようだ。胡・苗・范・田の家系に続く100年の因縁を清算したいと考えている。物語終盤に、父の仇である苗人鳳（『飛狐外伝』の時期に顔見知りとなっていたはずなのに、初対面の扱いになっている）と戦いを繰り広げるが…。
