中央人民政府人民革命軍事委員会（中国語版）より1948年11月1日に発布された《关于统一全军组织及部队番号的规定》[1]に基づき、晋察冀軍区第3縦隊を基幹として1949年1月に編成された。対日戦勝後に各種遊撃隊を集めて編成された冀中縦隊を前身とする。
楊成武、後に鄭維山が司令を、胡耀邦が政治委員を務めた。編成後、第3縦隊は、華北、西北を転戦し、平津戦役で活躍した。
1951年、第19兵団に編入され、朝鮮戦争の第5次戦役に参加した。第1段階において、配下の第187師は、臨津江を渡河し、イギリス第29旅団の1個大隊を撃滅した。第2段階において、第187師は、兵力が損耗していたにも拘らず、鉄原を12日間死守し、彭徳懐の賞賛を受けた。龍門山の戦いに参加。
1960年代末の中ソ対立時、第63軍は、山西省太行山の第2線陣地に配備された。1980年代中期の軍縮中、乙類集団軍とされ、第189師は山西省武警総隊に改編された。1989年、六四天安門事件に投入される。2003年に廃止され、隷下部隊は第27集団軍隷下に編入された。