第12集団軍の前身は、国共内戦中に編成された晋冀魯豫軍区第6縦隊（初代司令：王宏坤）である。第6縦隊は、王近山将軍の指揮の下、定陶戦役に参加し、汝河強行渡河作戦時には、政治委員杜義徳将軍が指揮を執った。1948年、王近山は襄陽を攻略し、国民党特務の康沢を捕虜にした。淮海戦役参加後、第6縦隊は第12軍に改編され、第2野戦軍第3兵団の編成下で渡江戦役に参加し、四川に進軍し、重慶を攻略した。
1950年末、中国人民志願軍第3兵団の下で朝鮮戦争に参加した。この時、第11軍の第31師が編入され、軍長には曽紹山将軍が任命された。第5次戦役中、第31師第91団は敵に包囲されたが、奇跡的に生還した。上甘嶺戦役には、第31師、第34師が投入され、副軍長李徳生の指揮の下で勝利を得た。
1960年代、第12軍で「郭興福教学法」が現れ、やがて「大比武」運動として全軍に広まった。第12軍は、長い間、第1軍と並ぶ中核部隊として戦略任務を担っていたが、1980年代の軍縮中に乙類集団軍とされ、その地位は低下した。
