ヴャトカ県(現キーロフ州)ブトゥイルキ村の農家出身。エラブグ(タタールスタン)の実科学校卒業後、1916年、ペトログラード工科大学造船分校に入学したが、同年12月、ロシア帝国軍に召集され、コンスタンチン砲兵学校に送られた。1917年、学校卒業後、トムスクで独立迫撃砲中隊の下級将校として勤務。1918年3月、除隊後、エラブグ市の企業に勤める。
1918年10月に白軍が同市を奪取した時、元陸軍少尉のゴヴォロフは、アレクサンドル・コルチャークの軍に動員された。1919年10月、部下と共に白軍を脱走し、白軍に反対する戦闘労働者義勇軍に参加した。赤軍がトムスクに入城した1920年1月、赤軍に志願した。その後、東部及び南部戦線で戦い、砲兵大隊を指揮した。特にカホフ橋頭堡でのピョートル・ヴラーンゲリ将軍の戦車との戦闘で戦功を上げた。
ロシア内戦終結後、10年間、第51ペレコプ師団に勤務し、砲兵大隊長、連隊長を務めた。その後、要塞地区、第14及び第15狙撃軍団の砲兵部長を歴任する。1926年、砲兵完全化課程、1930年、高等学術課程、1933年、M.V.フルンゼ軍事アカデミー(ロシア語版、英語版)を卒業。1938年、参謀本部軍事アカデミー卒業後、F.E.ジェルジンスキー名称砲兵アカデミーで講師を務める。
ソ・フィン戦争時、要塞破壊と砲兵使用問題の専門家として前線に派遣され、第7軍の砲兵参謀長となりマンネルハイム線突破に大きく貢献した。1940年、砲兵副総監、1941年5月、ジェルジンスキー名称砲兵アカデミー校長に任命された。
独ソ戦勃発と共に、1941年7月、西部方面軍の砲兵部長に任命され、その後、予備戦線砲兵部長、モジャイスク防衛線副司令官、西部戦線砲兵部長を歴任する。10月からは、モジャイスク方面のモスクワへの接近経路を防衛する第5軍の司令官となった。砲兵出身のゴヴォロフの諸兵科連合軍の司令官任命は異例のことでもあったが、彼はモスクワ防衛と逆攻勢時に軍を良く統御した。
1942年4月、レニングラード戦線の軍集団司令官、同年6月、同戦線司令官に任命された。戦線司令官として、封鎖されたレニングラードの状態改善とドイツ軍の釘付けに努め、事後の封鎖解除のための前提条件を創出した。1943年1月、ヴォルホフ戦線の部隊と共同で、レニングラードの封鎖を解除した。1944年のクラスノセロ・ロプシャ作戦時、敵の最も強固な地区を突破し、同年、カレリア地峡でのヴィボルグ作戦に参加した。その後、タリン攻勢作戦を実施してエストニアを占領し、モーンズイド諸島に上陸した。終戦までレニングラード戦線司令官に留まり、1944年10月からは、自戦線と同時に第2沿バルト戦線及び第3バルト戦線によってクールラント・ポケットに包囲されたドイツ軍クールラント軍集団の攻略も統轄し、1945年5月に降伏を受け入れた。
戦後、レニングラード軍管区司令官、地上軍主任監察官、軍事省次官を歴任した。1948年7月、国土防空軍司令官、1950年5月、陸軍次官、1952年7月、軍戦闘訓練担当次官、1953年4月、国防省主任監察官。1954年5月、国土防空軍総司令官兼国防次官に任命された。
1953年のスターリンの葬儀では、ほかの数多の将軍たちとともにスターリンの勲章を運搬したが、ゴヴォロフはソコロフスキー参謀総長と共に戦時中に活躍した最高位の軍人に与えられる勝利勲章を運搬した。
1952年からソ連共産党中央委員会委員候補。第2期~第4期ソ連最高会議代議員。
死後、赤の広場のクレムリンの壁に葬られる。