洪武4年（1371年）、進士に及第し、明代最初の廷試で首席の成績を挙げて状元となった。礼部員外郎に任じられ、『大明日暦』の編纂に参与した。胡惟庸が自分につく人物として求めたが、伯宗は従わなかった。胡惟庸はこれを恨んで、洪武8年（1375年）[1]に伯宗を鳳陽に左遷した。伯宗は時政を論じた上書をおこない、胡惟庸の勝手気ままで不法なふるまいは、丞相の任にふさわしくなく、必ずや国の患いになると非難した。洪武帝により南京に召還され、ベトナム陳朝への使節をつとめた。
洪武12年（1379年）、国子助教に任じられ、皇太子朱標に進講を命じられた。最初に『大学』の正心誠意の説について述べた。翰林院典籍に転じた。洪武帝が10の主題で賦を作るよう命じると、伯宗は筆を立てるやすぐさま書き上げた。詞の趣は上品で清潔であり、伯宗は金糸を織りこんだ錦の衣を賜った。太常司丞に任じられたが、辞退した。国子司業に転じたが、また辞退した。洪武帝の意思に逆らったとして、金県教諭に左遷された。着任する前に南京に召還され、翰林院検討となった。
洪武15年（1382年）、武英殿大学士に進んだ。洪武帝の命を受けて李翀や馬沙亦黒とともに回回暦書を翻訳した[2]。洪武16年（1383年）冬、弟の三河知県呉仲実が不実な人物を推挙した罪に連座して、翰林院検討に降格された。
洪武17年4月乙未（1384年5月18日）、在官のまま死去した[3]。享年は51。彼には子がなかった。著書に『呉伯宗集』24巻[4]があった。