郡将から身を立て、隊主となり、たびたび少数民族の反抗を鎮圧して恐れられた。元嘉28年（451年）、振威将軍となり、3000の兵を率いて渓蛮を討ち、これを破った。孝建元年（454年）、朱修之が雍州刺史となると、劉胡はその下で平西外兵参軍・寧朔将軍・建昌郡太守となった。魯秀の乱を討って功績を挙げ、建武将軍・東平陽平二郡太守に任じられた。大明年間、入朝して江夏王劉義恭の下で太宰参軍となり、龍驤将軍の号を加えられた。景和元年（465年）、建安王劉休仁が安西将軍・雍州刺史となると、劉胡はその下で安西中兵参軍・馮翊太守となり、諮議参軍に転じた。同年（泰始元年）、明帝が即位すると、劉胡は越騎校尉に任じられた。
泰始2年（466年）1月、明帝即位に対抗して劉子勛が尋陽で擁立されると、劉胡は輔国将軍・豫州刺史に任じられた。3月、3万の兵を率いて鵲尾に駐屯した。友軍の薛常宝から食糧の支援を求められたため、1万の兵を率いて赭圻に食糧を運び込んだが、明帝側の沈攸之らに敗れて負傷した。4月、一時は呉喜を包囲するなど、官軍を苦戦に追い込んだが、赭圻城を失陥して撤退した。陳紹宗・陳慶らに水軍を与えて官軍に挑戦させたが、呉喜・張興世らに敗れた。鵲尾で長らく沈攸之らと対峙した。7月、張興世が銭渓に入って糧道を断とうとしたため、劉胡は水軍で銭渓を攻撃して大敗を喫した。さらに8月には濃湖で沈攸之らに敗れて西に逃走した。9月、石城に入ったときはわずか数騎であった。竟陵郡丞陳懐真に迎えられて入城し、酒を所望して飲み終えると、佩刀で自刃した。死に切れず、斬首された。首級は建康に伝えられた。