第20集団軍の前身は、長征後に南方の閩浙地区に残留した紅軍遊撃隊である。皖南事変後、新四軍第1師に改編され、粟裕将軍が師長を務めた。日中戦争中、蘇魯院の敵後方地で活動し、「黄橋決戦」において国民党の進攻を撃退した。
国共内戦中、華東野戦軍第1縦隊に改編され、葉飛の指揮の下、淮海、渡江等の主要戦役に参加した。
朝鮮戦争勃発後、第20軍は、第2陣として朝鮮半島に進入した。長津湖戦役中、配下の第58師第172団からは、特級戦闘英雄楊根思が輩出した。帰国後、第20軍の第60師は、江山島戦闘に参加した。その後、南京軍区に配属され、杭州に駐屯した。文化大革命中、第20軍は地方の派閥闘争に巻き込まれ、杭州、金華等の地区が武装闘争の被害を受けた。
1975年、鄧小平は、地方の軋轢を解き、軍民間の緊張を緩和するために、第20軍と済南軍区の第1軍の配置換えを行った。しかしながら、第20軍の将兵はこれを好まず、家族を任地に帯同させていなかった者は、休暇制度実施時にそのまま帰郷してしまった。これ以後、第20軍の武威は振るわなくなった。
1980年代の軍縮中に乙類軍集団とされた。