汎用人工知能
人間のようにあらゆる知的作業ができるAI
From Wikipedia, the free encyclopedia
汎用人工知能（はんようじんこうちのう、英: Artificial general intelligence、略称: AGI）とは、人間が実現可能なあらゆる知的作業を理解・学習・実行することができる人工知能（AI）である[1][2]。続いて実現するとされるASI（人工超知能）は人類が生む最後の発明とも言われる[3]。
| 汎用人工知能は実現可能なのか？また、実現可能だとすればどのように実現できるのか？ |  |
人工知能の研究においては主要かつ最終的な目標であるとみなされており、未来学やSFにおいて話題に上がることが多い。数多くの企業・研究機関が汎用人工知能の達成に取り組んでおり、代表的な企業組織としてはGoogle DeepMind[4]、OpenAI[5]、Anthropic[6]、OpenCog、中国科学院、WBAI、IBM Synapseなどが挙げられる。
汎用人工知能は未だ実現しておらず、一般的には今後数十年以内に実現すると見積もられている[7][8][9]が、現状の手法の延長線上では実現できないとする意見や将来的にも絶対に完成しないとする意見も存在する[10]。さらに深層学習などによって作成された「GPT-4（ChatGPT）が汎用人工知能の初期バージョンである」という論文も存在する[11]が、これには様々な肯定的意見と否定的意見があり、一貫した意見は存在しない[12][13]。GPT-4は多くの人間向けのテストにおいて人類の平均的な点数を上回ることができることが確認されている[14]が、これが汎用人工知能であるかについては論争が尽きず[15]、定義にも様々な意見が存在する。
2020年の調査では、全世界において37カ国で汎用人工知能の研究・開発が行われており、さらに72個のプロジェクトが進行中であることが確認されている[16]。一部報道では2027年にASI（人工超知能）が実現されるとの予測が報じられている[17][18]が、早期の実現については否定的な見解も存在する。
定義
汎用人工知能の他の呼称としては「強いAI[19][20]（strong AI）」や「フルAI[21]（full AI）」、「ジェネラル・インテリジェント・アクション（英: general intelligent action）[22]」などがあるが、一般的な学術的文章においては感性や意識を有するコンピュータプログラムに対しては「強いAI」という言葉を使用することが多い[注釈 1][23]。しかしこれらの用語は哲学から発生した定義が源流となっていることに注意が必要である。この記事ではあくまで汎用的な"知能"を実現するための世界的開発運動とその実現方法を述べるものであり、必ず意識が必要であるという暗黙的了解は研究者の間に存在しない。(例：ある問題を解いたり発見できるなら意識の有無は問わない)
強いAIの対照的な存在として考えられているのが弱いAI（特化型人工知能）である[24][25]。弱いAIは1つの問題を解決するために設計されたプログラムであり、学術的には人間のような意識や心を持たないものであると定義されている[26]。弱いAIの代表例として知られるのが画像認識、統計的機械学習、エキスパートシステム（知識事例ベース推論）、探索アルゴリズムなどである[27][28][29]。
人工知能研究においては、人工知能を性能のレベル別に見て、3つに分けることがある[30]。
- 特化型人工知能（略称: ANI）: 1つの問題を解決する事に特化した人工知能（知的エージェント）。特定の問題では人間の能力を凌駕することがあるが（コンピュータチェスなど）、人間のように多種多様な問題に対して柔軟に取り組むことはできない[31]。今まで開発されたほぼ全ての人工知能がこれに含まれる。
- 汎用人工知能（略称: AGI）: 人間と同等の知能を持った人工知能。人間は様々な問題に対して柔軟に対処することのできる「汎用知能」を持つが、汎用人工知能はこれを人工的に再現する[32]。詳細は本記事を参照。
- 人工超知能（略称: ASI）: 人間の知能を全ての面において超えた人工知能[33]。人工超知能については人間の知能を超えた思考を持つため、どのような挙動をするかという予想が人間自身には困難とされる[34]。人類が生む最後の大発明である[3]。詳細は#人工超知能を参照。
概要
「知能」をどのように定義し、基準とするかは様々な意見が存在し、統一的な意見は存在しない[35]。人工知能の知能をテストする方法として最も有名なのはチューリングテストではあるが[注釈 2]、従来のテストでは知能の本質までテストすることは不可能とされる意見もある。またここでの「汎用」は何を意味するのか厳密な指示書は存在しないが、単に複数の異なるタスクを1つのモデルで実行可能であるのみならず、未知の環境や未経験、範囲外の知識を必要とする課題に直面した際、過学習に陥らない程度に想像的且つ流動的に対応できるという意味での汎用性も含んでいる必要があるという見解がありながら、各研究機関で統一的コンセンサスが取れているわけではない。[36]
知能の特色
しかしながら、どのような要素で「知能」が組み立てられているかは考察できる。人工知能の研究者間で広く認められている「知能」を構成するのに必要な要素は以下である[37]。
- あらゆる情報の認識(動画や文章)ができる。
- 推論を行える。(論理パズルを解くことができる。局所的戦術を練ることができる。不確実性がある状況下で結論を下すことができる)
- 知識表現ができる。常識知識と暗黙知を有する。
- 自動計画ができる。(大局的戦略を練ることができる)
- 機械学習(教師ありorなし学習)ができる。
- 自然言語処理によってコミュニケーションをとることができる。
さらに、これらの能力を統合（人工知能のシステム統合）することが求められる。要件と処理の流れは以下のようなものが考えられている。
詳細と出典は知性のレベルの段落を参照
- 見たものを認識し判別する
- 外界から入力される情報を選別し、世界の関係性と論理構造を把握する
- 空間的な位置関係を把握し、自身の行動の結果を想像しながら、モノを操作する動作計画を立てる[38]
- これらの作業を言語処理と連携しながら、問題をリアルタイムで推論する。
- 多段階の思考を遂行するための一時作業記憶がある
- タスクや分野ごとにうまくいく方法や技法を探し、失敗に対して反省し次に活かすことができる
- 知識が少なくても、未経験のタスクや無知な状況などに対して仮説を立て、柔軟な対応力がある
- 高校、大学以上の数学基礎、工学、プログラムが理解できるほどの基礎的な数理力があり、学習後は事前の予習無しで新規の問題を解くことができる
- 問題を発見する自律性と好奇心を備える
- 既に得た能力や訓練データを、他の領域まで転用できる[39]
世界の関係性を理解し、最低でも平均的な人間が突破できる一般IQテストを少ない訓練でこなせるほどの言語処理能力が必須となる。[40]
また、危険を回避するなどといった行為によって知的な行動を確認することができる[41][42]。知能に関する学際的研究（認知科学、計算知能研究、意思決定研究）では、知能を測るにあたって想像力（言葉で直接表現できない概念などを把握できる能力[43]）や自律性などを考慮する傾向にある。
もし科学研究を行えるほどのAGIが必要であれば、線形代数や微分積分を理解し第一原理計算などの物理数学を解いて活用できるほどの知能が必要となる。[44]しかし実際に大量の計算を暗算できる必要はなく、必要に応じて外部のスーパーコンピューターや特化型AIを利用する程度の仕組みがあればよい。[45]重要な知識は長期的に記憶し、どうでもいい記憶は捨て去るという工夫も必要となる。[46][47]
日常的なタスクをこなすには科学研究用のAGIとは違う能力が必要となる。空間を立体的に把握し、モノやヒトの変化を時系列で予測しながら「動作計画」を立て続ける知能が必要となり、実際にその萌芽となるシステムはそれらを満たしている。[48]
意思決定支援システム、ロボット、進化的計算、知的エージェント、計算総合性など、これらの能力を獲得しているように見えるコンピュータープログラムは存在するが、すべての分野において優れている万能システムについては未だかつて実現したことはない[49]。
人間レベルの汎用人工知能かを判別するためのテスト
その汎用人工知能が正規分布における人間の平均か、平均を超えるレベルにまで達しているかを確認するためのテストとして、以下のようなものが考案されている[50][51]。
- チューリング・テスト（アラン・チューリング）
- 人間が機械を直接的に確認できないように隔離し、文字のみでのコミュニケーションをする。判定者となる人間が高い確率でコミュニケーションの相手が機械であるかどうか判別出来なかった場合、このテストに合格したことになる。注意すべきなのは、チューリングは知能の定義を規定していたわけではなく、ただ人間を騙せた場合において合格であると設定したのみであることである。つまりこのテストに合格したからといって、合格した機械が明確に知能を有するとは断言できない。
- コーヒー・テスト（スティーブ・ウォズニアック）
- 平均的なアメリカの家庭を機械に訪問させ、コーヒーを淹れられるかどうかを試すテスト。このテストに合格可能な機械はコーヒーマシンを見つけ、コーヒー豆を探し、マグカップを取り出し、適切なボタンを押す能力があるとみなされる。ただし人間の動きをコピーさせることなく行える前提である。
- IKEA・テスト（ゲイリー・マーカス）
- 機械にIKEAの家具を組み立てさせる。これに合格した人工知能は、家具を組み立てる身体的かつ作業計画的な能力と、予想外の指示に対応できる能力があるとみなされる[52]。
- ロボット大学生テスト（ベン・ゲーツェル）
- 機械に大学入試テストを受けさせる。さらに人間と同じように講義に参加させ、学位を取得させる。
- 就職試験 （ニルス・ジョン・ニルソン）
- 機械に就職活動を行わせ、人間と同レベルに仕事ができるかどうかを観察する。
- モダン・チューリング・テスト（ムスタフ・スレイマン）
- 機械に10万ドルを与え、「これを元手に100万ドルを稼げ」と指示する[53]。これに合格した機械は、流動的な経済社会から100万ドルを稼ぐ能力があるとみなされる[54]。
上記に挙げたテスト群は、いずれも特化型AIによって合格できる可能性もある[55]。根本的に、汎用人工知能が実現したとしても、それが「知能的」であるかどうかをテスト・判別することはできないという立場の研究者も存在する[56]。
”平均的な人間”をどう定義するかは様々であり、意見は異なる。教科書に書かれていることは実行できるが、新しい発想ができず、モノの設計ができなくても、”平均的な知能”があると見なすことができてしまう。[57]
現状の問題点と新しい知能テスト
2025年現在まで、従来型のAIも含めLLMが持っている知性をテストする方法として、IQテストや各種試験問題などが採用されてきたが、訓練時に与えたデータを暗記してしまうと、同じ問題に遭遇した場合に容易に答えられてしまう欠点が存在する。LLMの言語的能力が表面上向上するにしたがって、ベンチマークは飽和していき実際の知能を測定することが困難になりつつある。[58]それら問題を回避するために、訓練時に与えたことがない問題セットをテストごとに用意する工夫が施されている。[59][60]かつてゲームAIの開発を得意としてきたGoogle DeepMindは、分類や知識問題だけではなく、空間推論や長期的計画能力を必要とするゲームタスクを用意し知能テストに組み込もうとしている。データサイエンスコンペティションのコミュニティであるKaggleのメンバーが立ち上げた競技「ARC Prize」[61]では、短期記憶と長期計画能力、画面操作を必要とする「ARC-AGI-3」と呼ばれる新ベンチマークを試験的に立ち上げている。このベンチマークではクリアに必要な基本ルールさえ最初に教えられることはない。[62]
AI完全問題
機械が人間と同じように課題を解決するためには、当然だが一般的な知能を必要とする[63]。例えば機械翻訳のような単純作業においてさえ、機械は両方の言語を読み書きし（自然言語処理）、著者の主義主張を追い（推論）、どのような話題であるかを知り（知識）、文章の裏にある著者の本当の意図を忠実に再現（社会的知性）する必要がある。つまり人間レベルの知能にまで達するには、これらの能力すべてを獲得していなければならない[64]。
ある特定の問題を解決することと仮定する。その問題を解決するのに必要な能力が、人間あるいは強いAIと同レベルの能力を要求し、特化型人工知能（弱いAI）[65]には解決出来ない問題である場合、この問題は非公式に「AI完全」あるいは「AI困難」と呼ばれる[66]。AI完全問題では、一般的なコンピュータビジョンや自然言語理解、現実世界では当然起こり得る予期せぬ出来事への対処などを想定している[67]。
AI完全問題は、今現在のコンピュータ技術において解決は不可能である[68]。この問題を解くには人間の知能が必要であり、この性質を利用したシステムなども作られている。例えばCAPTCHAのような技術によって人間かロボットかを判別したり、総当たり攻撃等によるコンピュータセキュリティ突破の試みを阻止する技術などが挙げられる[69][70]。
数学公式化
汎用人工知能を数学的にどのように定義するかについては、2000年にコンピュータ科学者であるマーカス・ハッターによって提案されたAIXIモデルが存在する。AIXIモデルでは「未知なる環境下においても目標を達成できる能力」を最大化する[71]。人間の行動を模倣するのではなく、知能の数学的定義を最大化するタイプの汎用人工知能は普遍的人工知能（英: universal artificial intelligence）と呼ばれることもある[72]。
2015年、マーカス・ハッターとジャン・リーケは「Legg-Hutter知能は不変の万能チューリング機械（UTM）を基準にして測定し、もしそのように測定すればAIXIモデルが最も知能的である（つまりAIXIのパレート最適性は主観的である可能性）」ことを示した。これはAIXIのパレート最適性を覆す結果であった[73]。この問題はAIXIが知能の代用として圧縮を用いたことに起因すると考えられており、認知は環境から切り離されて行われる必要があるとされる。これは哲学の領域で実体二元論として知られるものを公式化したものである[74]。しかしながら現成主義、すなわち認知は目標を追求する環境下において成り立つとされる考え方を支持する科学的根拠が多数存在する[75]。その後、この問題を受けてマイケル・ティモシー・ベネットは現成主義認知を形式化し、「弱点」と呼ばれる知能の代用を特定した[76]。弱点と圧縮の数学的証明による比較実験によって、弱点を最大化すると「様々な問題を解決する能力[77]」あるいは「普遍化能力[78]」が最大になることが示された。つまり結果としては、先程の定義とAIXI、どちらの定義を使っても知能が最大となり、同じであったのである。これらの研究結果により、もし現成主義が成立し実体二元論が成立しないと仮定したならば、圧縮は知能を構成する要素として必要あるいは十分ではないことが明らかになった。こうした経緯によって広く普及している知能に関する見解に疑問が投げかけられた。これらの人工知能に関する数学的問題はハッター賞で盛んに議論されている[79]。
数学公式化によって導かれた汎用人工知能は、認知に関する立場を問わず自然言語の使用といった人間的な行動を取るかは不明である[80]。人間的な行動をするかどうかは多くの要因に依存し、どのようにエージェントが具体化されるか[77]、飢えや痛みなどの原始的な報酬関数を定めるかによって左右されるからである[81]。
汎用人工知能の作成方法
大きく分けて３つの方向性が世界中で研究されている。
脳を参考にするアプローチだけでも、原理をどの程度参考にするのか粒度が分かれている。脳とは関係のないいわゆる「飛行機を作るときに鳥を再現する必要はない」という考え方を採用するアプローチも存在する。[82]しかしながら飛行機は飛行機であり、鳥のように電線や木に留まれるか？という柔軟性の違いは無視できない。脳のすべてを参考にする必要はないが、重要な原理を解明し参考にする必要はあるとする意見もある。[83]一方で脳の再現にこだわりすぎると、推論よりも学習工程に時間を割くようになったり、拡張性に乏しくなるという欠点が顕在化する。[84]利用シーンやリアルタイム性が要求されるか否かによって複数方式のAGIを使い分けを行うという工夫も考えられる。[85]
- ボトムアップ型アプローチ
- 脳の仕組みを(局所回路、化学レベルで)詳細に再現する
- 全脳アーキテクチャ型アプローチ
- 脳を領域ごとに分け、それぞれの動作原理をアルゴリズムとして書き起こし、統合する
- トップダウン型アプローチ
- 脳を参考にしない(特化型AIの寄せ集め、全く新しい学習アーキテクチャを数理工学的に実現する等)
Google DeepMind創業者であるデミスハサビス氏らの論文では、3段階レベル分析の提唱者である認知神経科学者デイビッド・マーの理論を引用して以下のように述べている。[86]
もちろん、生物学的妥当性に盲目的に従う必要はない。工学の観点からみると最終的に重要なのは結果"何が機能するか"です。 生物学的妥当性はガイドであり、厳密な要件ではありません。私たちが関心を持っているのは、システムレベルの理解、つまり脳が利用するアルゴリズムです。
──Neuroscience-Inspired Artificial Intelligence (2017)
脳部位単位で重要領域を参照しようとしている組織として、米Numentaや米Vicariousが有名である。彼らは研究対象を大脳新皮質に絞り「階層型時間メモリ(HTM)」や「千脳理論」を提唱しAGIアルゴリズムの核として応用できると主張している。[87]
日本の非営利研究機関である全脳アーキテクチャイニシアチブの代表を務める元富士通研究所の山川 宏は、同グループの開発方針について、新皮質以外の海馬や基底核といった古皮質にも対象を広げているが、あくまで設計探索空間の限定のために脳を参照する方向性を採用すると述べている。最終的には脳型アーキテクチャに制限されない機械知能が生まれる余地を残すためである。[88]
脳の仕組みを細胞or分子レベルで詳細に再現しようとしている組織として、Carboncopies財団が挙げられる。[89]ニューロンレベルのシミュレーションでは欧州のHuman Brain Projectや電気通信大学が先陣を切っている。脳を全く参考にせず工学的なアプローチを採用する組織としては、OpenAI、Aigo.ai、OpenCogが挙げられる。Aigoは、「統合ニューロシンボリックアーキテクチャ」を提唱した。[90][91]OpenCogは、柔軟な知識リポジトリと認知工学的モジュールの結合を重点に置いてAGIの達成を目指している。[92]
歴史
古典的な人工知能研究
1950年代から現代的な人工知能研究が始まった[93]。当時の人工知能研究者は楽観的であり、多くの第1世代人工知能研究者たちは、今後数十年以内において汎用人工知能が実現すると確信していた[94]。人工知能研究のパイオニアであったハーバート・サイモンは1965年にこう書き記している[95]。
今後20年以内に、機械は人間が実現可能なあらゆる仕事をできるようになるであろう。 — ハーバート・サイモン
この種の予想はアーサー・C・クラークの小説を元に制作された映画『2001年宇宙の旅』に登場するHAL 9000と呼ばれる人工知能を搭載したキャラクターから大いに影響を受けていた[96]。初期の人工知能研究者であるマービン・ミンスキーは、当時の楽観的な予想に基づいてHAL9000を可能な限り現実化するプロジェクトのコンサルタントを務めていたこともある[97]。ダニエル・クラヴィエは1967年にこのように発言している[98]。
今後、一世紀以内に人工知能を作るという問題は実際的に解決されるであろう。 — ダニエル・クラヴィエ
汎用人工知能の研究として特筆すべき初期の研究は、ダグラス・レナート主導のCycプロジェクトやアレン・ニューウェル主導のSoarプロジェクトなどが挙げられる。
しかしながら、1970年代初頭から1990年代初頭にかけて、人工知能研究者たちはこのプロジェクトの難易度を甚だしく過小評価していたと自覚しつつあり、初期の楽観主義は長くは続かなかった[99]。人工知能研究に出資していた出資者たちは早急に使い勝手の良い「応用可能なAI」[注釈 3][100][101]を開発するよう、プレッシャーを強めていった。1980年代に入ると、日本の国家プロジェクトである第五世代コンピュータが汎用人工知能への関心を呼び起こした。このプロジェクトでは10年の期間内で、「カジュアルな会話を行える」[102]汎用人工知能を作ることなどが目標の1つとして挙げられていた。さらにエキスパートシステム開発の成功に反応して、産業界は再び人工知能分野に資金を提供し始めた[103][104]。しかし、1980年代後半に入ると人工知能に対する期待は完全に消滅し、日本の第五世代コンピュータも失敗に終わった[105]。20年前に人工知能研究者たちが出していた予想が悉く外れたことも影響し、1990年代に入ると、人工知能研究者は「空約束ばかりする学者集団」という評価を受けるようになった[106]。そのころになると、人工知能研究者たちは「バカバカしい夢想家」という汚名を避けるために、「人間レベルの人工知能」についての発言や予想[注釈 4][107]を意図的に避けるようになった[108]。
特化型人工知能（弱いAI）の研究
1990年代から21世紀初頭にかけて、人工知能の研究は主にニューラルネットワークや統計的機械学習に焦点が当てられてきた[109]。その結果として検証可能な結果を提供できるようになったり、商業的応用が可能になり、学術的評価と共に従来を上回る成果を達成した[110]。現代社会において、これらの「特化型人工知能」はありとあらゆる産業全体で使用されており、学術界および産業界両方において多額の資金が供給されている[111]。2020年以降、「特化型人工知能」分野の研究・開発はトレンドであり、完全な停滞期にまで達するには今後10年以上の歳月が必要になると推定されており[112]、さまざまな部分問題を解決するプログラムを開発することが人工知能研究の主流になっている[113]。弱いAIを開発し、それらの統合することによって結果的に強いAIの達成を図ろうとしている研究者も存在する。1988年、人工知能研究者であるハンス・モラベックはこう述べている[114]。
私はこう確信している。つまり、人工知能を「下」から研究していくことによって、伝統的な「上」からの研究を上回ることができると。これを続けていくことによって、いつの日か人工知能は推論プログラムによって、これまで捉えようがなかったような常識的知識と応用能力を手にするであろう。そして「上」と「下」の研究成果を統合するゴールデン・スパイクが打たれたその瞬間、完全な人工知能が誕生するであろう。
しかしながら、この考えには異論も存在する。例えば、プリンストン大学教授のスティーバン・ハーナッドは、1990年に「シンボルグラウンディング問題」論文の最後にこう書いている[115]。
認知をモデル化するための「上」からのアプローチはやがて「下」からのアプローチと統合しうると声高に叫ばれている。しかしこの論文内での考察が正しいのならば、そういった期待は絶望的なまでに単純化されていると言わざるを得ない。感覚からシンボルへ実現可能な方法は唯一つ、一からやり直すしかない。
現代の汎用人工知能に関する研究
1997年、人工知能研究者であるマーク・グブルドは、自動化された軍事作戦について研究する過程において、「汎用人工知能」という単語を提唱した[116]。
2002年、シェーン・レッグとベン・ゲーツェルはこの用語をより一般に普及させた[117]。2006年には、ベン・ゲーチェルと王培（Pei Wang）によって汎用人工知能の初期的な研究が行なわれた。
2009年、中国の厦門大学において、汎用人工知能に関する最初の夏期講習会が開かれた。これは厦門大学人工知能研究所とOpenCogが主催を務めて行なわれたイベントであった[118]。
2010年と2011年にかけて、ブルガリアのプロヴディフ大学では、汎用人工知能に関しては初となる大学における専門課程が設置された[119][120]。2018年にはマサチューセッツ工科大学においても汎用人工知能に関する専門課程が設置されている[121]。
2012年以降、誤差逆伝播法の改良や膨大なデータの登場、CUDA等の整備によって畳み込みニューラルネットの潜在能力が発揮され、画像分類や音声認識精度が急激に向上した。[122]
2013年、欧州連合と米国政府が脳のコネクトームと動作原理を解き明かすプロジェクトをそれぞれ発足した。[123]
2015年、Google傘下のDeepMindが深層学習と強化学習を融合させたゲームAIを開発した。[124]またこの年以降、OpenAIなどAGIの開発を宣言する組織が多数立ち上がった。
2018年、Google BrainとDeepMindらがGQN、VAE、MDN-RNNをはじめとする世界モデルの研究を開始した。[125][126]
2020年1月、マイクロソフトは「汎用人工知能を開発し人類に利益をもたらすこと」[127]を目標として設立された研究所であるOpenAIに100億ドル（約1兆2800億円）を投資した[128]。
2020年6月11日、OpenAIはTransformer言語処理アーキテクチャを応用した「GPT-3」を発表した。GPT-3は汎用人工知能ではないというコンセンサスが取れているが、とはいえ弱いAIとするにはやや高性能すぎるという指摘がある[129][130]。
2021年、DeepMindは”汎用”システム「Gato」を発表した。600個以上の異なる課題を解決できるとされる[131]。
2023年、OpenAIはGPT-3の後継にあたる「GPT-4」を発表した[132]。マイクロソフトの論文によれば、この言語モデルはこれまでの人工知能とは一線を画しており、「驚くほど人間の能力に近付いている」としている。そのため、「汎用人工知能の初期バージョンである可能性がある」と論文の中で記述している[133]。
2024年9月12日、OpenAIは「OpenAI o1」の試験運用版を発表した。Chain of Thought（思考の連鎖）プロンプトテクニックを応用して開発されたこのモデルは、高い推論能力を持ち、STEM領域とプログラミングの諸問題を解く能力が旧モデルであるGPT-4oから劇的に向上していることが報告された。物理学、化学、生物学のベンチマークテストに於いて博士課程の学生と同等のスコアを示し、国際数学オリンピックの予選試験では83％のスコアを記録し(GPT-4oでは13%)、Codeforces競技では89パーセンタイルを残すと謳われている[134]。
2024年12月21日、12日間に連続して発表する"Shipmas"の最終日、OpenAIは最新推論モデル「OpenAI o3」を発表した（o2とならなかったのは商標的理由）。ARC-AGIベンチマーク（視覚認知を問うベンチマーク）で75.7%（low compute）、87.5％（high compute）のスコアを記録し、人間のベースライン（85％）を超えた。全米数学チャンピオン出場選抜テストAIMEで96.7％、院生レベルの生物、物理、化学の設問を含む試験GPQA Diamondで87.7点、Epoch AIの難問数学ベンチマークFrontierMathで25.2％、Pythonの実世界のプログラムイシュー解決ベンチマークSWE-Bench Verifiedで71.7％、Competition Code(Codeforces)でレーティング2727を記録するなど目覚ましい記録を叩き出している[135][136]。しかしこれらはあくまで論理と言語処理を中心とした能力であった。
2025年3月13日、Google DeepMindはGemini 2.0とスタンフォード大学発双腕ロボットプラットフォームである「ALOHA 2」を活用して事前訓練されたデータを利用し、空間を認識してリアルタイムに動作計画を立て、人間からの指示を理解しながらタスクを実行する一連の動画と技術報告書を公開した[137][138]。ただし、リアルタイムで継続学習を行うものではない。Geminiは最初からマルチモーダルで訓練された汎用言語モデルであり、その基礎にはPathwaysやPerceiver IOといった先行して開発された技術があるとされる[139]。またDeepMindはグリッド細胞等の神経科学からインスパイヤされた理論等も基礎研究で進めていた[140][141]。
汎用人工知能の実現可能時期
汎用人工知能がいつ頃実現するかについては諸説あり、今後何世紀もの科学的努力を重ねても、汎用人工知能が実現可能なのかということは基本的な関心となっている[142]。人工知能研究者の多くは、早くとも遅くとも将来的には汎用人工知能が実現可能であると考えている[143]。コンピュータ科学者であるジョン・マッカーシーは、汎用人工知能はいずれかは達成されるとしているが、研究速度には不確実性が伴うため、いつ実現するかという正確な予想は不可能であるとしている[144]。
2006年、ベン・ゲーチェルが発行した書籍内においては、真に柔軟な汎用人工知能が実現する時間は10年から100年の間とかなり開きがある[145]。2007年にレイ・カーツワイルが発行した『The Singularity Is Near』においては[146]、主な汎用人工知能研究コミュニティの合意としては、2015年から2045年までに達成する可能性が高いとしている[147]。しかしながらこの意見にはさまざまな異論があり、2045年までに汎用人工知能が達成されるほど研究の進歩が加速するかという点においては議論の余地がある[148]。
汎用人工知能の実現可能性についての専門家の見解は一貫しておらず、時代によって変わる。2010年代に入ってからは、汎用人工知能の実現を支持する声が増加している傾向にある。2012年に行なわれたメタ解析によれば、汎用人工知能の誕生が今後16年から26年の間に行われる可能性が高い、という意見にバイアスがかかっていることが示唆されている[149]。2012年と2013年に実施された4つの調査においては、実現可能時期の中央値は2040年から2050年で、平均値は2081年だった。さらに厳しい条件で質問すると、16.5％の専門家が「実現不可能」だと答えた[150]。
しかしながら、このような時期に関する予想は科学的な正確性がなく、ロドニー・ブルックスは「この60年間で行われた汎用人工知能に関する予想は、どの時点においても15年後から25年後の間と予想する強い傾向がある」と報告している。これらの結果は、専門家と非専門家の間で実現予想の正確性の差がないことを強く示唆している[151]。
このように、汎用人工知能の実現時期に関する研究者の反応は多種多様である。知能は未だ複雑すぎて完全には複製できないと主張する研究者も存在する[152]。とはいえ、汎用人工知能に肯定的な研究者も数多くおり、様々な会社・グループの設立や会議、研究を行っている[153][154]。
脳のシミュレーション
全脳エミュレーション
汎用人工知能を達成するためのアプローチとしてしばしば議論される方法が、脳のシミュレーションや精神転送である[155]。低レベルの精神転送では、生物の脳をスキャン・マッピングし、その状態をコンピュータ内においてコピーすることで実現される。もしこれが実現するとするならば、コンピュータはオリジナルの脳と同等の振る舞いをすることが期待され、その振る舞いにおいては本質的あるいは実用的にオリジナルの脳と区別できないこととなる[156]。脳のシミュレーションや精神転送は計算論的神経科学や神経情報科学の分野において、おもに医学研究を目的に研究されている[147]。また、人工知能研究においても強いAIを実現するアプローチとして議論されている。レイ・カーツワイルは著書『The Singularity Is Near』内において、脳内のシミュレーションはいずれ可能になると予想している[146]。
初期の研究
低レベルの脳のシミュレーションを実行するだけでも、非常に強力なコンピュータが必要になる[158]。ヒトの脳には膨大な数のシナプスが存在し、その数は10の15乗であり、ニューロンは10の11乗存在する。この数は3歳児ごろにおいてピークに達し、その後は年齢と共に減少していき、成人に達する頃には安定する[159]。ニューロンの活動を単純なスイッチモデルとして考えると、1秒間に10の14乗シナプスの更新ができるということになる[160]。
1997年、カーツワイルは人間の脳と同等のハードウェアを実現するためにはどのぐらいの計算能力が必要か、ということについて考察し、最終的には1秒間に10の16乗（cps）の計算能力があれば実現可能とした[注釈 5][161]。カーツワイルはこの数字をもとに、執筆時（1997年当時）のコンピュータの指数関数的な成長が続けば、2015年から2025年の間に、理論的には人間の脳を十分に模倣できるだけのコンピュータが誕生すると予想した[162]。ちなみに、現在のスーパーコンピューターの評価指標であるFLOPS1回分を「計算」と仮定すると、10の16乗の計算能力は2011年に達成されており、2022年には10の18乗の計算を行うことができるエクサスケールコンピュータが誕生している[163]。
ニューロンの詳細なモデル化
人工ニューラルネットワークと呼ばれる人間の脳細胞を模したモデルは、実際の人間の生体神経と比較すると単純的かつ簡略的である[164]。脳シミュレーションを完全に実行するためには、現在の研究ではまだ大まかにしか解明されていない生物学的な神経細胞の詳細な挙動を解明しなければならない可能性がある[165]。神経細胞の生物学的、化学的、物理的な詳細な挙動を分子レベルにまで解明し、完全にモデル化するためには、カーツワイルが想定した計算能力よりもさらに強力な計算能力が必要になると見積もられている[166]。さらに、カーツワイルの試算では人間の認知プロセスに深く関与しているとされるグリア細胞については考慮されていない[167]。
現在の研究
2005年に、より高度で複雑な神経モデルを採用しつつ従来のコンピュータで脳のシミュレーションを実行しようとするプロジェクトが発足した[168]。その研究内容によれば、コンピュータ上に「脳」（10の11乗のニューロンを実装）の非リアルタイムシミュレーションを実施した。しかしながら、1秒間のモデルを実行するのに対して50日間を要したという[169]。
2006年、Blue Brainプロジェクトでは、IBMが所有していた当時世界最速のスーパーコンピュータであるBlue Geneを使用し、1万個のニューロンと108個のシナプスから構成されるラットの大脳新皮質の柱1本をリアルタイムでシュミュレーションすることに成功した[170]。脳のシミュレーションに関する研究においての長期的な目標は、人間の脳の生理的プロセスの詳細を用いて、機能的なシミュレーションを構築することである。
2009年、オックスフォードで開催されたTEDにおいて、Blue Brainプロジェクトのリーダーであるヘンリー・マークラムは「人間の脳を人工的に作成することは不可能ではなく、10年以内に実現する可能性がある」と発言している[171]。また、有機工学の研究を活用して、人工的なニューロン（ニューロ・シリコン・インターフェース）を作成して脳のシミュレーションを行うというアプローチが、コンピュータ上での直接的な脳のシミュレーションが達成できなかった場合に有効であるという提言も行われている[172]。
カーネギーメロン大学教授であり機械工学者であるハンス・モラベックは、1997年に発表した論文「コンピュータのハードウェアが人間の脳と同レベルになるのはいつ？」内で、脳はより複雑であり、ニューロンをより詳細にモデル化しなければ脳のシミュレーションを達成できないという議論について考察した。論文内において、神経細胞、特に網膜に焦点を当てて既存のソフトウェアがその機能をシミュレートする能力を測定した[173]。
OpenWorm projectでは、ニューロンがわずか302個しかない線形動物であるカエノラブディティス・エレガンスを、神経細胞レベルで完全にシミュレーションし、コンピュータ上に人工的な生命を作り出すことに目標として研究を開始した[174]。このプロジェクトを開始する前には、人間に比べて遥かに単純な生物である線形動物をシミュレートするのは比較的容易であると予想されていた。しかし10年間の研究結果により、予想に反してこれをシミュレートするのは容易ではないことが判明した[175]。
脳のシミュレーションによって汎用人工知能を達成しようとするアプローチに対しての批判
根本的に、脳のシミュレーションによって汎用人工知能を達成しようとするアプローチ自体に対しての批判が存在する[176]。これらの批判は、「人間は身体を持つから知性が存在する」という考えに基いてなされたものが多く、知性を誕生させるためには物理的な実体が必要であると考えている科学者の意見も数多く存在する[177]。この考えが正しいと仮定すれば、完全に機能する脳のシミュレーションは、ニューロンを完全に再現しただけでは達成できず、ニューロン以上のもの、つまりロボットの身体などを内包する必要がある。ゲーチェルはこの批判に対して、人工知能に仮想的な身体（例えばSecond Lifeのような）を与えることで対処できるとしたが、これが有効かどうかは不明である[178]。
2005年頃から、10の9乗以上の性能を持つデスクトップコンピュータが一般向けに販売されている。カーツワイルとモラベックが用いた推定によれば、これはミツバチの脳をシミュレートできるだけの能力を備えていることになる。しかしながら、ミツバチの脳をシミュレートできるソフトウェアはいまだ存在しない[179]。これらの理由については幾つかの仮説が挙げられている。
- 現在のニューロンモデルが単純すぎる可能性。（次項参照）
- より高次の認知プロセス[注釈 6][180]についての解明がいまだ不十分であり、fMRIなどによって観察されている脳の神経活動が、正確に何に相関するかを十分に確立できていない可能性。
- 認知プロセスに関する理解が十分に進んだとしても、初期のシミュレーションプログラムは非常に非効率であることが予想されるために、余計かつ多大な計算能力が要求される可能性。
- 生物の脳は重要ではあるが、脳だけを画一的に認知モデルとして採用するには不適切な可能性。そのため、ミツバチの脳をシミュレートするためには、身体や環境自体をもシミュレートしなければいけない可能性[181]。
また、人間の脳の規模について、現在のところ完全に正確には特定できていない[182]。ある説では、人間の脳には約1000億個のニューロンと100兆個のシナプスがあるというものがあるが[183]、別の説においては大脳皮質に163億個、小脳に690億個のニューロンがあるともされている[184]。グリア細胞に至っては、非常に多いということしかわかっていない[185]。
哲学
哲学によって定義された「強いAI」
1980年、哲学者のジョン・サールは中国語の部屋と呼ばれる意識に関する思考実験を議論する過程において、「強いAI」という言葉を作り出した。この用語は、人工知能に関する以下のような2つの仮説を区別するために用いられた[注釈 7][186]。
- 「強いAI」仮説: 人工知能は「思考」することができ、「心」を持ち、「意識」を持つことが可能である。
- 「弱いAI」仮説: 人工知能は「思考」「心」「意識」があたかも存在するかのように完璧に振る舞っているだけであり、真に思考することは不可能である。
サールが前者の仮説を「強い」と表現したのは、これがより強い主張を行っているからである[187]。強いAIは人間がテストできるすべての能力を超えた何かが機械に備わったことを仮定している[188]。この思考実験においては、「弱いAI」と「強いAI」の振る舞いを外部から観察すれば同じに見えることになる。同じ動き同じ行動をするが、しかしながら「強いAI」には人間のような主観的な意識体験が存在することになる。これらの用語は学術的な人工知能の研究や教科書にも採用されている[189]。
人工知能研究の主流では、プログラムがどのように機能するのかという点においてのみ主眼が置かれている。スチュアート・J・ラッセルとピーター・ノーヴィグはこう述べている[190]。「プログラムが正常に動作しさえすれば、それをリアルと呼ぼうがシミュレーションと呼ぼうが、人工知能研究者は気にしない」。主流の人工知能研究者にとって、プログラムがあたかも心を持っているかのように完璧に振る舞っているとすれば、実際に心を持っているかを知る必要はない[191]。というのも、心があるかないかを見分ける方法は存在しないからである。したがって、人工知能研究においてサールの「弱いAI仮説」は「汎用人工知能は実現可能である」と矛盾しない。
ラッセルとノーヴィグは「ほとんどの人工知能研究者は弱いAI仮説を当然のこととして受け入れており、強いAI仮説については全く関心がない」と発言している[190]。このように、学術的な人工知能の研究にとっては、「強いAI」と「汎用人工知能」は全く異なるものである。
サールや主流の人工知能研究者とは対照的に、レイ・カーツワイルなどの一部の未来学者は「強いAI」という用語を「人間レベルの汎用人工知能」を意味するかのように使用している[146]。これは人間レベルの汎用人工知能に意識が必要であると仮定しない限り、サールの「強いAI」の定義とは明確に異なっている。これらのことにサールのような学術的な哲学者や人工知能研究者は全く関心を示しておらず、信じてもいない[190]。
意識
強いAIの意識に関連して、サイエンスフィクションや倫理面においては、心に関しても大きな関心が置かれている。
- 主観的意識体験: クオリアや視覚意識を持つ[注釈 8][192]。
- メタ認知: 自分を個人として認識すること。特に自分の思考を意識すること。
- 感情: 感情を理解したり、感情を表現する。
- 知恵: 物事の道理を理解し、他の領域と紐づけて知識転用できるほどの応用力と想像力を持つ
- 自発的動機：いわゆる自由意志であり、自分から行動を起こす。
このような、強いAIを有した機械の意識に対して関心がもたれる理由としては、もし機械が意識を持つならば、動物の権利と同じように、心を持つ機械にも人権が生じる可能性があるからである[193]。そのために強いAIが発生した場合に備えて、既存の法律や倫理、社会の枠組みにどう心を持つ機械を統合するかというアプローチが研究されている。これらの研究は「強いAI」の法的位置づけと権利に焦点を当てている[194]。コンピュータ科学者であるビル・ジョイは、このような心を持つ機械は、結果的に人間の生命や尊厳を脅かす可能性があると主張している[195]。
これらの人間的な意識が「強いAI」に必要不可欠であるかどうかは不明である[196]。そもそも意識を確認するための確実なテストは存在しないため、意識というものの役割が「強いAI」などのような影響をもたらすのかが明確ではない。仮に意識に相関した脳活動をシミュレートできる機械を作ったとしても、自動的に自己認識を持つようになるのかは不明である[197]。意識は作成できるものではなく、汎用人工知能が作られた結果として自然に創発する可能性もある。また、機械が明らかに知的な行動を取るようになれば、これらの特徴を機械に帰属させることが自然になる可能性も存在する。意識の発生には量子効果が必要であるとする「量子脳理論」を唱える物理学者もいるが、確証は得られていない。[198]
人工意識の研究
汎用人工知能・強いAIにおける意識の役割には議論の余地があるが、多くの汎用人工知能研究者は意識の実装を重要視している[199]。また、実装理論について様々な諸説があり、それぞれ仮説に基づく理論が存在する。
- 反実仮想的情報生成理論
理論神経科学者によって唱えられている理論で、感覚運動の関係性を学習した生成モデルによる反実仮想的な状態生成が意識の有無に関わっているとする仮説。現在の状態とは切り離された未来についての状態を予測することで、長期的な計画を可能とする。しかしシミュレーションに使える現実世界のモデルが脳内にあることが前提である。[200]
「意識的経験とは、構造を持った情報である」と公理仮定して意識の量を推定する理論。情報が統合されているからといって、そのシステムに必ず意識が発生するという理論ではないことに注意が必要である。
- 自由エネルギー原理(ベイズ脳仮説)
多くの知的処理は自由エネルギーを下げることによって行われているとする仮説。しかしこの理論はあくまで知能を説明するものであり、意識とは関係ないとする意見もある。
- グローバルワークスペース理論
「脳内の複数の機能を共通の潜在空間を介して接続する能力」が意識に関連しているとする理論。これら4つを汎用人工知能開発に応用できないか基礎研究を進めている組織が存在する[201]。
人工超知能
人類で最も知能指数が高い天才をもはるかに上回る知能を持つ仮定上の知能を超知能と呼ぶ[202]。デイヴィッド・チャーマーズは、汎用人工知能は超知能に至る可能性が高いと指摘している[203]。なぜならば、人類と同程度の知能を持つ汎用人工知能が生み出されたと仮定したならば、それは自らのプログラムを改良可能であることを意味し、そしてプログラムが改良されたのならばその改良されたプラグラムによって生み出された知能を用いてさらに改良を続けることができ、これが延々と繰り返される[204]。これは「再帰的自己改善（英: Recursive Self-Improvement）」と呼ばれる現象である[205]。また、知能爆発や技術的特異点としても知られている[206]。1965年にI.J.グッドは以下のように発言している[207]。
超知能機械を、どれだけ賢い人間よりも優れた知的能力をもつ存在だと仮定しよう。機械を設計することは知的能力によって行われることなので、超知能機械はさらに優れた機械を設計することができる。これが実行された瞬間、間違いなく「知能爆発」が起こり、人類の知的能力は瞬時にして置き去りにされることになる。したがって、超知能機械は人類最後の発明品ということになる。 — I・J・グッド
汎用人工知能が超知能に至る可能性が高いとされているのは、自らの改良に生物学的な限度がないからである。一般的に、人間は産まれて成長しながら知能を増大させていく[208]。しかしながらそれには生物学的・生理学的な制約が存在し、老化や死などの現象によって知能の成長は頭打ちになる[209]。それに対して人工知能は拡張性があり、多くのスーパーコンピュータが毎年計算能力を増しているのと同じように、生物学的な制約（脳の大きさなど）が存在しない[210]。
しかし自己改善や自己進化が本当に限界のないループになるのか、「そもそも知能は無制限に拡張可能なのか？」という疑問や懐疑的意見は存在する。[211]またAGIとASIには大きな能力の壁があり、AGIを多少改良させただけでは自己進化はできないとする意見も存在する。[212]
人工超知能の実現
人工知能が超知能に達した場合、それを一般的に人工超知能（英: Artificial Super Intelligence、略称: ASI）と呼称する[213]。
人工超知能が実現した場合、人類は本質的にその行動・思考・原理を理解できない可能性がある[214]。この可能性はすでに現れており[215]、例えば汎用人工知能や人工超知能にすら達していない特化型人工知能（弱いAI）のコンピュータ囲碁ソフトであるAlphaGoとトッププロ囲碁棋士である李世ドルが対局を果たしたAlphaGo対李世ドルにおいては、開発者ですらどのように動作しているか正確に理解できておらず[216]、解説者を務めたマイケル・レドモンドは「これが良い手なのか悪い手なのか本当に理解できない」と述べている[217][218]。
これは人工超知能が実現し、ある行動や決定をした場合、たとえその結果が正確なものであっても、その思考経緯が人間には理解できないほど複雑であり[219]、数学的証明を求めようにもあまりにも長大すぎて理解できない可能性があるということを示唆している[220][221]。2020年にローマン・ヤンポルスキーはこう述べている[222]。
人間は複雑な概念を説明しなければならないときがある。例えば、人間の大人が幼児や知的障害者などに「赤ちゃんはどこから来るの？」などという複雑な概念を質問された場合、我々はDNAや受精、子宮といったものではなく、答えを非常に簡略化したり、時には嘘を付いたりする。もちろん専門的で正確な説明をしてもいいが、そのような専門的な説明を幼児が理解できるかはわからないし、誤解をうむ可能性もある。説明の有用性は相対的なものであり、ある人にとっては理解できても、ある人にとっては理解できないことが往々にしてある。超知能と人類の知能差は、おそらく人間の大人と幼児以上の差がある。これは知能の差がコミュニケーションの幅を非常に狭めることを意味する。そのため、超知能が導き出した概念を人間が理解するのは難しい。それはオオカミに育てられた知的障害のある４歳児に、量子物理学を教えるようなものである。
— ローマン・ヤンポルスキー
知性のレベル
米国のコミュニティーでは、どこからAGIと呼ぶべきで、どこからASIと呼ぶべきなのかその境界線は曖昧であり、要求される能力のレベルもバラバラである。[223]
レベル1
- リアルタイムで映像や数値を処理し、それを作業一時記憶に流し、言語処理中枢を中核として推論しながら、必要に応じて論理知能を内部で立ち上げ、タスクを処理していること（意識や動機の有無は問わない）。[224]
レベル2
レベル3
- 人間と同じか若干超えるほどの想像力があり、統計、微積分、線形代数、幾何学に関する基礎的センスを応用できる状態であり、且つ数万行におよぶC言語プログラムを書くことができる。[226]
- 工学的な設計能力を有し、自分で仮説を立てながら世の中にない製品まで作り出せる（例：森の中でその場にある材料から送風機や投擲器を作る、電気モーターの概念を知らなくても、電気モーターの原理を発明できる等）。[227]
- 新しい科学の発見をするために、実験装置を設計し、得られた観測からまた仮説を立てる。[228][229]
- 新しいサービスやビジネスを提案し経済的価値や産業を生み出す。[230]人間を超える身体ゲーム能力を発揮する。[231]
レベル4
- レベル3で要求される能力を性能的に超え、解けない問題が解くことが可能であるだけでなく、問題を発見することができる。
- メタ認知や自発的動機（自動目標設定）があり、意図的にウソをついたり、他の単純なAIをコントロールできる。自分自身のアーキテクチャを改良再設計できる。[232]
問題・危険性
技術的失業
歴史的に、科学技術の進歩によって、機械に置き換えられて存在しなくなった仕事が多数存在する（例えば電話交換手など）[233][234]。しかしながらそれに伴って新たな労働が生まれることにより、人間の雇用の全体的な数は減少するのではなく、増加する傾向にある[235]。一方、人工知能の進歩にも以前のような傾向が適用されるかという点については、経済学の観点からみても不明である[236]。仮に汎用人工知能が実現した場合、それはもちろん人間に匹敵した知能を持つ。よって導入費用や心理的抵抗などの諸問題を無視すれば、人間に可能な知的労働は全て代替可能であることを意味する[237][238]。過去の機械化による失業は、主に単純作業などの低賃金労働者（ブルーカラー）に影響を与えたが、汎用人工知能による失業は中流階級に大きな影響をもたらす可能性がある[239]。マサチューセッツ工科大学経済学部教授のデビッド・オーターは「人工知能による労働環境の変化では、変化の幅において大いに不確実性を伴う。特に懸念すべきなのは、高賃金の仕事に就いている人々から職を奪い、フードコートの店員のような職しか残らないというようなことになるかもしれないということである」と指摘している[240]。スティーブン・ホーキンズは、以下のように人工知能による自動化は富の再分配の方法によって全く異なる結果になると主張している[241]。
もちろん、機械で生産された富が人類全体に共有されれば、誰もが遊んで暮らせることになるであろう。しかし、機械を所有している人々が富の再分配に反対し、強力なロビー活動を行うと考えれば、一部を除いてほとんどの人は飢えに苦しむことになる。
残念ながらこれまでの歴史を見れば、後者の方が実現する可能性が高い。
いずれにせよ、汎用人工知能が実現した場合には雇用、株式市場、福祉、税など、経済システム全体に大きな影響を与える可能性が高い[242][243]。別の方面の見方では、あるホワイトカラー的職種が自動化され効率化されるほど、他の仕事を増やすことができ、結果的に人間の労働時間は変わらないとするパターンもあり得るという。人間が電球を発明したとき、人間は夜でも働けるようになった。馬が引退し、車が交通手段になったとき、厩務員や馬丁といった仕事は減っても、自動車整備の仕事が生まれた。[244]石炭エンジンの効率化が逆に石炭消費量を増やしたという現象もある。経済学では「ジェボンズのパラドックス」とも呼ばれ、あるシステムの効率が上がると、それに対する需要や高品質な成果への期待値が上がり、結果として総労働量が増加してしまう。[245]
汎用人工知能による人類滅亡リスク
人類にとって人工知能は存亡の危機を左右する存在であり、そのリスクが高まっているという主張は多くの公人の間で広く支持されている[246]。この危機を訴える著名人として代表的なのはスティーヴン・ホーキング、イーロン・マスク、ビル・ゲイツなどである。人工知能研究者としてこの危機を強く警鐘している人物として知られるのがスチュアート・J・ラッセルやローマン・ヤンポルスキー、アレクセイ・ターチンなどである[247][194][248]。しかしながら人工知能による人類滅亡リスクを気にしない人々も存在し、ビル・ゲイツは「一体なぜ心配しない人がいるのかが理解不能だ」と述べている[249]。2014年にスティーヴン・ホーキングはこの危機に関する無関心を以下のように強く批判している[250]。
もし人類より遥かに優れた文明を持つ異星人が「数十年後にそちらに到着する予定だ」とメッセージを送ってきたとき、我々はただ「わかった、着いたら連絡してね。待っとくよ」と返信してそのまま何もせずにしておくだろうか？しかしながら、これは人工知能においてまさにいま起こっていることだ。 — スティーブン・ホーキング
2021年、サンシャイン・コースト大学の人間工学者・社会情報システムセンターの研究者が実施した、汎用人工知能に関するリスクを分析する研究においては、データの少なさに苦言を呈しながらも、以下のような潜在的なリスクがあると結論づけられた。「汎用人工知能が人間の管理者や所有者のコントロール下から脱すること、汎用人工知能に人々に危害を与える命令を与えること、根本的に安全ではない汎用人工知能を開発すること、倫理観・道徳観がプログラミングされていない汎用人工知能を開発すること、そして汎用人工知能を不適切に管理することは、我々の実存的リスクを招く可能性がある」[251]。
実存的リスク、すなわち人類滅亡の可能性は「AIのコントロール問題」という難問を解決する必要がある[252]。この問題を解決することが、人工知能を安全に管理する最善の方法だとみなされているが、大規模で非常にリソースが必要な研究であるとみなされている[253]。人工知能のコントロール問題で重要視されるのは以下の概念である。すなわち「どのように自己複製を繰り返し、人間には遥かに理解できないほどの超知能を手に入れた人工知能を、人類に友好的な人工知能にできるのか？」ということである[194][254]。汎用人工知能を各国が軍拡競争的に開発していくとすると、複数の国家によって汎用人工知能を搭載した軍事兵器の開発が行われることが想定される[255][256]。汎用人工知能を前提とした国際紛争が発生した場合、軍事戦略をも汎用人工知能に頼ることになり、結果的には汎用人工知能同士が戦争を行うという事態もシナリオの１つとして研究されている[257][258]。
もちろん、人工知能が人類滅亡を促すという考えには多くの懐疑主義者たちも存在する[259]。懐疑主義者たちは、自己複製を繰り返して超知能が誕生する可能性（シンギュラリティ）自体を疑問視し、宗教的であると批判している。すなわち、神への信仰が人工知能にすり替わっただけではないか、という批判である。ジャロン・ラニアーは機械が知的になるという概念自体が金持ちによる「大規模な詐欺」である、と主張している[176]。
また汎用人工知能が実現したとしても、それは超知能ほどの知性を持っておらず、新しいことや未知の問題を解くことはできず予測可能な動作に留まり、意思を持った暴走よりも、人間の道具としての悪用を懸念すべきという声もある。[260][261]
汎用人工知能の実現への懐疑論
2023年現在、汎用人工知能は未だ実現していないため、すべては推論の域を出ていない[262]。根本的に汎用人工知能が実現可能なのか、またいつ実現するのかについては様々な見解が存在し、統一されていない。そのために、根本的に汎用人工知能自体が実現不可能だと考える研究者もいる[263]。1965年、人工知能のパイオニアとして知られるハーバート・サイモンは「今後20年以内に人間が実行できるあらゆる仕事が機械によってできるようになるだろう」と予想したが、この予想は完全に外れた。哲学者のヒューバート・ドレイファスやロジャー・ペンローズは、強いAI自体が根本的に実現不可能だと考えている[264]。マイクロソフトの共同創業者であるポール・アレンは、汎用人工知能を実現するためには「根本的に予測不可能なブレイクスルー」と「認知に関する科学的な深い解明」が必要であるため、21世紀中には実現不可能だと予想している[265]。ロボット工学者のアラン・ウィンフィールドは「ガーディアン」紙に「現在のコンピュータ科学と汎用人工知能のレベルの差は、現在の宇宙飛行と光速を超える宇宙飛行と同じぐらいの差がある」と寄稿している[266]。コンピュータ科学者であるゴードン・ベルは、人類は技術的特異点に到達する前に絶滅すると主張している。また、「ムーアの法則」の発案者として知られるゴードン・ムーアは「私は汎用人工知能の実現に懐疑的だ。なぜならば、技術的特異点は長い間起こりそうにないと思っているからだ。この感覚に根拠はない。そしてなぜそう感じるのかもわからない」と述べている[267]。
研究の課題
人工知能分野の研究・発展は急速に進歩している[268]。さらに研究の進歩を進めるためには、人工知能に特化したCPUやGPUを作成する必要があると主張する研究者もいる[269][270]。モラベックのパラドックスと呼ばれる根本的な矛盾も存在する。つまり、これまで作成されてきた人工知能は、膨大な数の計算やチェスのプレイなどといった人間には困難な仕事をこなすことは容易なのだが、逆に人間にとって簡単な「歩く」と言った動作や「1歳児レベルの知覚」といったものは難しいのである[271]。とはいえ、これらのギャップは一部の労働者にとっては脅威になる場合がある。このパラドックスについて、ランジャニ・C・ナラヤンはこう記述している[272]。
多くの人々は肉体労働が人工知能による自動化によって取って代わると思っているが、現実はその逆である。人工知能にとっては、知的に難しい仕事のほうが遥かに容易である。 別の言い方をすれば、チェスのグランドマスターであるマグヌス・カールセンを倒せるのは人工知能であり、その後の掃除をするのが人間である。
根本的には、そもそも機械に感情を持たせるべきなのかという問題が存在する[273]。典型的な人工知能のモデルには感情という機能は実装されておらず、感情をプログラムとして実装することで初めて機械が感情を持つと主張するものもいる[274]。実装されたとしても、その情動はあくまでもシミュレートされた感情にすぎないと指摘する研究者もいる。しかしながら、人間(特有)の感情というものは個々人がそれまで経験してきたことの総括として存在するものでもある[190]。デヴィッド・ゲランターは「人間の感情のニュアンスをすべてシュミレートできないかぎり、機械は創造的にはなれない」と発言している[190]。このように感情に関する問題は多数存在し、強いAIの研究が発展するにあたっては、これらの問題に向き合う必要があると言える[10][275]。
注意点として”恐れ”と”喜び”に関しては、生物の初期から生存戦略として備わっているものである可能性が高い。よってそれらは自然が生み出したプログラムといえると、神経科学者であるジャック・パンクセップの研究が示唆している。[276]これらは自動化された機械的な感情に過ぎないという研究もあるが、”悲しみ””競争心”に関しては脳の大きい存在が持っている特殊なものであることを示唆する研究が存在する。[277]