第28集団軍は、第三野戦軍の系統に属し、その前身は、日中戦争中に編成された山東渤海軍区の地方武装勢力である。対日戦勝後、渤海軍区主力は東北部に進軍し、残余部隊から華東野戦軍第10縦隊が編成され、宋時輪が司令に任命された。
国共内戦中、第10縦隊は、宋時輪の蘇北兵団に編入され、華東、中原を転戦した。淮海戦役参加後、葉飛の第10兵団に編入され、第28軍に改称された。軍長には朱紹清、政治委員には劉培山が任命された。1949年5月の上海戦役後、南下して福州、厦門解放に参加し、金門戦役発起の準備に入った。1949年10月24日、配下の第82師第244団と第84師第251団、第29軍の第253団が金門に上陸したが、3日間の戦闘の末全滅した。
中華人民共和国建国後、福州に駐屯し、中華民国軍の大陸反攻に備えた。当時、第28軍は、3個師団（第82師、第83師、第84師）から成った。1969年の中ソ国境紛争後、第28軍は山西に移動したが、同軍の将兵は南部出身が多く、山西の気候になじめず、士気は低下した。
1999年に始まった軍縮中、第28軍は解散が決定され、配下の第205歩兵師（元第69軍）は、第65集団軍に編入された。