対日戦勝利後、中国共産党は、東北部を作戦後方とすることを決定した。朱徳総司令の命令により、李運昌の部隊が東北に進撃した。東北部には、1937年末以来抗日遊撃隊が存在しており、これを基盤に第3師と警3旅が編成され、後に東北民主連軍第3縦隊に改編された。
国共内戦中、曽克林将軍の指揮の下、三保本渓、四保臨江作戦を実施した。東北反攻段階において、韓先楚が司令に就任し、「旋風部隊」のあだ名を得た。遼瀋戦役中、配下の第7師（後の第118師）が錦州を攻略した。遼西会戦中、第3縦隊は、廖耀湘指揮下の国民党部隊を撃破し、東北部の解放に貢献した。1949年、第3縦隊は第40軍に改編され、韓先楚が軍長に、羅舜初が政治委員に任命された。遼瀋戦役終結後、第4野戦軍に従い南下し、武漢三鎮を解放した。全国解放後、第40軍は、海南島解放作戦にも参加した。
朝鮮戦争勃発後、第40軍は北上して、第13兵団の編成下に入り、朝鮮半島に進入した。1950年10月25日、第118師は、温井で韓国第6師団の1個大隊と遭遇した。韓国軍が水洞地区まで前進した時、第118師は奇襲をかけ、韓国軍を全滅させ、温井を占領した。この日は、中国人民志願軍出国記念日とされている。帰国後、東北部に駐屯。
1960年代の中ソ対立時、中国共産党中央軍事委員会により縦深防御部隊とされた。
1980年代、国防戦略の南方転移に従い、第40軍は乙類集団軍に編入されたが、配下の第118師は甲類を維持された。この改編中、第119師は機械化旅に改編され、第120師は武警師に改編された。