De 1966 à 1971, il fut candidat au Comité central du PCUS, dont il devint membre jusqu'en 1991.
De à , il fut sous-ministre de la Défense de l'URSS en tant que président de la Commission technique d'État de l'URSS et membre du conseil d'administration du ministère de la Défense. Le , le général d'armée Nikolaï Ogarkov se voit nommé chef de l'État-Major général des forces armées de l'URSS et premier vice-ministre de la Défense de l'URSS. Six jours plus tard, le , il reçoit le titre de maréchal de l'Union soviétique.
Au cours de sa gestion de l'État-major général, Orgakov a préparé et mené certains des exercices opérationnels stratégiques les plus importants dans l'histoire des forces armées russes, ainsi que des manœuvres dans toutes les grandes orientations stratégiques, manœuvres impliquant tous les aspects, qu'ils soient scientifiques, militaires ou encore industriels. Le plus grand d'entre eux était l'exercice opérationnel stratégique, nom de code «Ouest-81" réalisée en . Seules les grandes opérations de la Grande Guerre patriotique ont atteint une échelle comparable. Cet exercice permit de tester un système de contrôle automatisé et certains types d'armes de haute précision.
Il est connu comme étant un adversaire actif de l'invasion soviétique de l'Afghanistan en 1979 sur laquelle il a des débats houleux avec le ministre de la Défense Dmitri Oustinov. En tant que chef d'état-major des Forces armées de l'URSS, Ogarkov n'a pas peur d'entrer en conflit avec son patron sur ce point et sur un certain nombre d'autres questions, telles que la construction militaire ou encore le développement d'armes et de matériel militaire.
Ogarkov accorde une grande attention au développement de la théorie de la gestion des forces nucléaires stratégiques et la défense antimissile. En fait, on peut dire qu'il a créé le centre de recherche opérationnelle et stratégique. Kokoshin, Secrétaire du Conseil académicien, note qu'Ogarkov «était parmi les pionniers à résoudre les problèmes de la révolution contemporaine dans les affaires militaires.» Ogarkov était parfaitement conscient du retard dont souffait l'économie soviétique vis-à-vis de l'Occident et que des réformes profondes devaient être entreprises.
Dans cet esprit, au cours d'un échange franc avec un journaliste américain en 1982, il avait admis:
"La technologie soviétique a une génération ou deux de retard sur l'Amérique. Dans votre pays, même les petits enfants jouent avec des ordinateurs. Nous n'en avons même pas dans tous les bureaux du ministère de la Défense. Et pour des raisons que vous connaissez bien, nous ne pouvons pas facilement mettre des ordinateurs à disposition dans notre société. Des réformes économiques sont absolument nécessaires, mais elles impliqueront très probablement aussi des réformes politiques."
Le , Ogarkov présente le rapport sur l'incident du Vol 007 Korean Air Lines lors d'une conférence de presse à la télévision et se retrouve ainsi obligé de défendre publiquement la position de son gouvernement. Maniant l'euphémisme, il déclara que le pilote de chasse soviétique a «interrompu le vol» du Boeing sud-coréen.
Peu après, il est déchu de ses fonctions de chef de l'État-Major Général et de Premier Vice-Ministre de la Défense en raison notamment de son intransigeance concernant le budget militaire. En effet, il symbolise l'aile dure du régime soviétique dans la crise des euromissiles. Après sa disgrâce, en septembre 1984, le gouvernement soviétique adopte une attitude plus modérée, qui devait conduire au retrait mutuel en 1987 des Pershing et missiles de croisière, du côté américain et des SS-20, du côté soviétique.
Ogarkov est bientôt nommé commandant du Théâtre d'opération Ouest nouvellement créé.
