『胡氏家譜』によると、胡三省の先祖である胡琛という人物は、本来洪州豫章県に住んでいたが、唐末の乾寧年間に進士に及第して後唐の荘宗の治世に起居舎人を務めた。退任後の胡琛は呉越の会稽へ移住した。胡三省は『資治通鑑音注』で、自らの本貫を「天台胡三省」と書き、天台は台州に属していた天台県である。考証学者の黄宗羲も『宋元学案』でこの説に従った。
宝祐4年(1256年)、文天祥・陸秀夫・謝枋得らと共に進士となり、吉州の泰和県尉に任命されたが、母の老齢を理由に赴任しなかった。後に再び慶元府の慈渓県尉に任命。在任中に慶元知府の厲文翁に罪を犯して罷免された。しかし、文学と行動が正しいとして揚州の江都県丞に推挙され、賈似道政権下で朝奉郎などを務めた。この頃から『資治通鑑』に対する研究に志しており、賈似道の門客に名前が知られて招聘を受け、自分が校正した『資治通鑑』を教えたこともあった。
南宋がモンゴルに滅ぼされると、隠居して官に就く事はなかった。景炎元年(1276年)、新昌に避難していた中に『資治通鑑』に注釈や論評を付けた草稿を失ったが、別の書籍を得て作業を続けた。10年かけて昼夜問わず研究に尽力した結果、ついに『資治通鑑音注』・『通鑑釈文辨誤(釈文弁誤)』という注釈書を著した。彼が付けた注釈の精度の高さから、その注釈のみで歴史書に値するとまで言われている。