テネシー州グランビルの農家に生まれる。ミドルテネシー師範学校（現・ミドルテネシー州立大学）を卒業後、ナッシュヴィルのY.M.C.Aの夜間ロー・スクールを修了した。その後地元スミス郡を含めテネシー州のいくつかの学校で教師をした。1932年から1936年にかけてスミス郡の教育長を務め、1936年には法曹界に入った。だが同時に、テネシー州の労働長官に就任し、政治に深く関わるようになる。
1938年に下院議員選に立候補し、当選を果たした。1944年12月4日に陸軍に入隊するため一度議員を辞職するが、翌1945年の第79議会には復帰した。以後3回連続当選を果たす。1952年の改選の際には、立候補せず、上院議員選挙に挑戦した。民主党の予備選で7回目の当選を目指すケネス・マッケラーを破り、上院議員に就任。当時テネシー州の政界は、メンフィスの政治的マシンのボス、エドワード・クランプ元下院議員の影響下にあったが、ゴアは民主党内の反クランプ派であり、彼の当選は、同年のテネシー州知事選でのフランク・クレメントの当選と共に、クランプの支配を終わらせるターニングポイントであると看做された。
上院において、ゴアは南部選出の民主党議員の中ではリベラルな投票行動で知られた。だが公民権問題では、彼は微妙な立場をとった。1956年に、人種平等政策への反対と南部諸州での人種隔離政策の継続を訴える南部選出の議員によるサザン・マニフェスト（南部宣言）が声明されたが、南部選出の上院議員がほぼ全員署名する中、ゴアは当時上院院内総務だったリンドン・ジョンソン（テキサス州選出）やその年の民主党副大統領候補だったエステス・キーフォーヴァー（テネシー州選出）と共にこれに署名しなかった。一方で、南部諸州での人種隔離政策の終焉をもたらした1964年の公民権法には反対した。一説にはゴアはこの年改選を控えていたため、有権者に配慮したためだともいわれている。翌年の1965年の投票権法には賛成票を投じた。
1970年、ゴアは4回目の当選をめざし立候補した。当時共和党は南部戦略を遂行していたため、ゴアは格好の標的となった。アグニュー副大統領が直々にテネシーを遊説し、ゴアのリベラルな投票行動、ベトナム戦争への反対、ダークセン上院議員が提案した公立学校で祈りを許可する憲法修正条項への反対を攻撃した。また1964年の公民権法への反対も問題とされた。こうした共和党側の活発な選挙運動の結果、ゴアは落選した。
政界を引退した後、ゴアはユダヤの政商アーマンド・ハマーの経営する石油採掘会社、オクシデンタルの顧問弁護士となった。その後、同社の副社長に就任し、取締役会入りした。また地元テネシー州のヴァンダービルト大学で法学を教えた。彼の息子、アルバート・ゴア・ジュニアは下院議員、上院議員を経てクリントン政権の副大統領に就任し、2000年の大統領候補者となった。この際、共和党側の一部から父親の1964年の公民権法への反対が問題とされた。
アメリカ合衆国