1924年11月8日、ソビエト連邦・オムスク州ヤゾヴォ（ロシア語版）に誕生する。
1941年11月、赤軍に入隊する。入隊と同時にモスクワ赤旗歩兵学校に入学し、1942年6月に卒業した。独ソ戦ではレニングラード攻防戦やバルト海攻勢などに従軍し、勲章を受章した。
1942年8月以来、大祖国戦争の最前線で彼は、狙撃小隊の指揮官および第177狙撃師団第483狙撃連隊の狙撃中隊の指揮官 、レニングラードの最前線の少尉の小隊の指揮官として、ヴォルホフとレニングラードの前線で戦った。レニングラード戦線の防衛、バルト地域におけるソビエト軍の攻撃作戦、ドイツ軍のクールランドグループの封鎖に参加した。1944年、彼はソビエト連邦共産党中央委員会に参加した。彼は戦闘で2回負傷した。足に最初の傷を負った後、彼は2か月後に職務に復帰し、再び戦地へ足を運んだ。
第二次世界大戦終結後も陸軍に残り職業軍人の道を歩み、ロシア・ソビエト連邦社会主義共和国最高会議名称モスクワ歩兵学校、M.V.フルンゼ名称軍事アカデミー（ロシア語版、英語版）（1956年）、参謀本部アカデミー（1962年）を卒業した。
共産党書記長就任後のゴルバチョフが極東視察をした際に出会って注目され、1987年1月に人事総局長兼国防次官に抜擢される。更に同年5月28日に西ドイツの青年マチアス・ルストがセスナ機でソ連の領空に侵入し、赤の広場に着陸した事件が起こると、その責任を取らされる形でセルゲイ・ソコロフ国防相が解任され、後任の国防相に昇格した。1990年にはソ連邦元帥に昇進した。
ゴルバチョフによって大抜擢される形で昇進し、指導部に忠実な職業軍人と見られていたが、ペレストロイカによって民族主義が台頭し、リトアニアをはじめとした各共和国での独立運動を鎮圧するためにソ連軍が投入されて軍部の発言力が増大。その一方で冷戦終結による大規模軍縮の発生で軍産複合体が支えてきた経済体制が軍民転換（コンヴェルシア）を迫られて崩壊する中、ヤゾフはゴルバチョフの政策が連邦を解体に向かわせるとして危機感を強め、次第に保守化していった。
1991年の8月クーデターでは、国家非常事態委員会に名を連ねた。しかし、ロシア共和国大統領ボリス・エリツィンらの反撃によってクーデターが失敗すると、ヤゾフは軍部隊にモスクワ市内からの撤収を命令して大規模な軍事衝突を回避し、その後逮捕・収監された。
1991年8月19日午前3時30分、ヤゾフは体調の悪化によるゴルバチョフの辞任と国家非常事態委員会（GKChP）の創設を発表し、大規模な会議を開催、モスクワ近郊のベアレイク村に駐留する特殊空挺部隊の旅団に対し、朝6時にモスクワのオスタンキノテレビセンターに来るようにとの命令を下す。午前6時には全ソビエト連邦軍管区の軍司令官会議を開催し、状況に応じた秩序の確保と軍事施設の保護強化を指示した。同日夜、アルファ部隊はアルハンゲルスコエにあるエリツィンのダーチャに移動したが、大統領を妨害することはなく、大統領に対して何らかの行動をとるよう指示されることもなかった。 ヤゾフはボリス・エリツィンに対する攻撃が準備されていたことを否定している。午前7時、ヤゾフは第2親衛自動車化狙撃師団、第4親衛戦車師団、第106親衛空挺師団に対しモスクワへの移動を命じ、午前9時28分には軍隊を厳戒態勢に置くという命令に署名した。しかしモスクワとソ連全土で国家非常事態委員会への抗議運動が激化すると同時にゲンナジー・ヤナーエフなどの国家非常事態委のメンバーはクーデターの試みを失敗とし、軍隊の攻撃命令などは出さなかった。
国家非常事態委員会への抗議運動が続く8月21日にヤゾフはモスクワに向かった全ての軍隊に対し、部隊の撤退を命令した。8月22日にはゴルバチョフが軟禁されているクリミアのフォロスに向かおうとモスクワのヴヌーコヴォ国際空港に行き、逮捕された。同じ日にヤゾフを国防相から解任する大統領令が出され、ソ連憲法113条と127条3項に基づき8月26日に開会したソ連最高議会に提出されたが、同令はソ連最高議会で承認されることはなかった。また、ヤゾフの最初の尋問はRSFSR閣僚理事会管理局のセネジ・レクリエーション・センター（セネジ湖畔）で行われた。
ヤゾフは、ゴルバチョフがヤナーエフに一時的に権限を移行することに関する議論をし、誰もゴルバチョフの物理的排除を議論したことはなかったと述べた。しかしゴルバチョフ夫妻やソ連国民、ソ連共産党に対しての罪悪感はあったと述べている。そして、GKChPの行動を、繰り返してはならない「愚かさ」と呼んだ。この尋問は弁護士なしで行われ（この点に関して、1994年にロシア最高裁判所は、この尋問でヤゾフが行った証言は無効であり、事件ファイルから除外されるとしている）。尋問の後ヤゾフは、国家非常事態委員であったアレクサンドル・チジャコフと共に、カリーニン州の捜査隔離所に連行された。8月25日、ヤゾフはマトロスカヤ・ティシナへ移送され、1年後「祖国反逆罪」の刑事事件は、捜査本部長の判断で不起訴となった。
22日朝、最初の尋問の前にゴルバチョフ大統領に宛てて、手紙を読み上げ自分を「老いぼれ馬鹿」と呼び、「権力奪取」に関わったことを後悔し、ソ連大統領に許しを請うビデオテープのメッセージが発見された。この事件から20年後にヤゾフは「24時間眠れなかったので、自分が何を言ったか覚えていない」と言い、手紙とビデオの発案者としてモルチャノフの名前を挙げた。ヤゾフの尋問ではウラジミール・モルチャノフがヤゾフを取り調べ、ヤゾフは回顧録で、自分が「はめられた」記事からゴルバチョフを守るために、懺悔の演説をするように説得され、疲労のあまり、テレビ記者の懇願に屈したと明記している。
1991年8月29日、ソ連最高会議がゴルバチョフ大統領の推薦によりエフゲニー・シャポシニコフを国防大臣に承認し、ヤゾフの大臣職を事実上解いた（逮捕の前日、ヤゾフは閣僚を辞任して正式に国防大臣代理となった）。
1993年1月26日にヤゾフは国家非常事態委の他のメンバーであるヤナーエフ、パブロフ、クリュチコフ、チジャコフ、バクラノフと共に釈放された。
ソ連崩壊後の1994年にヤゾフは再び起訴されたが、1995年の対独戦勝50周年記念としてエリツィンから恩赦を受け、1998年7月にはロシア国防省国際軍事協力総局主任軍事顧問となった。2000年から2010年まで地域間社会組織「G.K.ジューコフソ連邦元帥記念委員会」を議長として率いた。
2004年、ロシア名誉勲章を受け、名誉を回復した[1]。
ヤゾフに「戦勝75周年」勲章を授与するショイグ国防相（2020年2月4日）
ヤゾフに贈られた祖国功労勲章第3級
2020年2月25日、モスクワで死去[1]。95歳[1]。
ヤゾフの訃報に際し、ロシアのウラジーミル・プーチン大統領、セルゲイ・ショイグ国防相、ベラルーシのアレクサンドル・ルカシェンコ大統領、その他ロシア連邦共産党幹部が弔意を表明した。2月27日、告別式会場からロシアの国旗で覆われた棺は、儀仗隊を伴って砲車で墓地まで運ばれ、連邦軍記念墓地まで運ばれ、17発の礼砲が撃たれる中埋葬された。同年4月24日には埋葬地に記念碑が除幕された。
死の3週間前に面会したショイグはヤゾフに祖国功労勲章第3級と「戦勝75周年」勲章を授与した。
.svg){kind=small}
ソビエト連邦
ロシア連邦
ソビエト連邦→
ソ連邦元帥
_Rib.png){kind=small}
_01.jpg)
