定遠の出身だったため、朱元璋の家臣であった李善長とは顔なじみであり、その推挙で朱元璋に仕え、紅巾の乱などで朱元璋とともに戦った。
胡惟庸は政治的に優れた人物であり、明王朝成立後は中書省の役人から左丞相までに出世を重ねた。しかしそれをいいことに、洪武帝（朱元璋）が旗揚げしたときに活躍した功臣の劉基などの排除や、自身に反対する一派を徹底して弾圧して専横を極めたため、やがて洪武帝からその存在を疎まれるようになる。また劉基が病死すると、胡惟庸による毒殺ではないかという疑惑が起き、猜疑心の強い洪武帝は胡惟庸に一層、不信感を募らせた。
そして洪武13年（1380年）、胡惟庸は日本や北元と内通して謀反を起こそうと企んだ罪により、洪武帝によって処刑された。このとき、連座によって胡惟庸派の重臣はすべて殺害されたという。これが有名な洪武帝の粛清事件の一つである胡惟庸の獄である。この後、洪武23年（1390年）には李善長も胡惟庸の獄との関係を問われて死を命じられた。
しかし近年の研究においては、胡惟庸の謀反を立証する証拠は少ないため、これは洪武帝によるでっちあげであり、粛清を行うための口実とされたのではないかとも疑われている。また、これにより中書省は廃されて、皇帝の独裁権が強化されることとなった。
