1902年5月11日にロシア帝国のウクライナのグリシノに誕生した。地元の教会の教区学校を卒業した後は省学校に入り、優秀で卒業した。
1920年にコムソモールに加わり、同年8月にクリチェンコの赤衛隊に入隊してマフノ部隊と交戦し、その後赤軍に入隊する。ロシア内戦終結後は1922年にハリコフ統合赤指揮官学校を卒業し、騎砲大隊の小隊長として第6チョンガル騎兵師団に配属された。1923年に同大隊の教育中隊長、その数年後、連隊参謀長となる。その後指揮要員完全化課程を修了し、ザバイカルで連隊参謀長、連隊長を歴任した。沿海地方に異動して戦車旅団砲兵部長となり、1932年に第1騎兵師団参謀長、1933年に師団長となる。
キエフに異動し、機械化軍団砲兵部長となる。ジェルジンスキー名称アカデミー卒業後は1939年に狙撃師団砲兵部長に就任した。その後モルドバに異動して機械化軍団砲兵部長となる。開戦直前にルツク市の対戦車旅団長に任命された。
独ソ戦の時にモスカレンコの旅団は、ドイツ軍の戦車を撃退しつつソビエト連邦軍の退却を援護した。この功績により、1941年7月にレーニン勲章が授与された。同年9月初め、第15狙撃軍団長に任命。キエフで包囲されたが、包囲網を突破しプセル川まで後退した。その後、第13軍の騎兵・機械化軍集団司令官に任命され、モスクワの戦いに参加した。
1942年1月初めに南西戦線第6軍司令官、同年3月に第38軍司令官となる。第二次ハリコフ攻防戦に参加したが、作戦は失敗してドン川まで退却した。スターリングラード攻防戦が始まると、再編成された第1戦車軍の司令官に任命される。
1943年2月にスターリングラードで勝利した後、モスカレンコはヴォロネジ戦線第40軍司令官に任命された。第40軍は、オストロゴオシュク・ロッソシャンスク作戦に参加し、その後、第3戦車軍と共にヴォロネジを奪回した。ハリコフやベルゴロドの奪回にも貢献したが、マンシュタイン元帥の反撃に遭い、3月にはベルゴロドを失ってオボヤニ付近まで撤退する（第三次ハリコフ攻防戦）。クルスクの戦いに参加してオボヤニの戦線を支え、第四次ハリコフ攻防戦に参加し、さらにドニエプル川まで進出する。ドニエプル川強行渡河に成功した功績により大将に昇進し、ソ連邦英雄の称号が授与された。キエフ作戦が始まると再び第38軍司令官に戻り、11月におけるキエフの解放に参加した。1944年4月にカメネツ・ポドリスキーを解放し、第38軍はプロスクロヴォ・チェルノヴィツ作戦に参加した後、チェコスロバキア第1軍団と共にスロバキアを攻撃する。カルパチア作戦後にヤスロ・ゴルリツ作戦を実施し、ドイツ軍の春の目覚め作戦を粉砕するのに貢献し、プラハで終戦を迎えた。チェコスロバキア解放に対して、チェコスロバキア共和国英雄の称号が授与された。
1948年8月にモスクワ軍管区司令官に任命され、1953年3月のスターリンの死後に権力を握ったラヴレンチー・ベリヤの逮捕と処刑を指揮する。1955年3月にソ連邦元帥、1960年10月から1962年4月に戦略ロケット軍司令官・国防次官となり[1]、1978年2月に2回目のソ連邦英雄称号が授与された。
1985年6月17日にモスクワにて83歳で死去した。
