第23集団軍は、第3野戦軍系統に所属する部隊である。対日戦勝後、新四軍の第1師、第6師の一部から、華東野戦軍第4縦隊が編成され、陶勇将軍が司令に任命された。第4縦隊は、華東を転戦し、蘇中の「七戦七捷」戦闘、孟良崮戦役、済南戦役に参加した。淮海戦役後、第23軍に改称され、渡江戦役中、イギリス極東艦隊を挑発した。
中華人民共和国建国後、朝鮮戦争に参加。1960年代初め、大慶石油会戦に参加。1969年、配下の第67師の一部が珍宝島事件に参加した。1980年代、安嶺森林火災時、災害派遣に出された。
過去、新四軍第1師長の粟裕の息子、粟戎生が軍長を担任したことがあり、現人民解放軍中でも珍しい「世襲」の事例が存在する。
2003年に廃止され、一部の部隊は第16集団軍に編入された。