AIがもたらす未来のシナリオ

AI研究はいずれ人間と同等かそれ以上の知能を持つ機械を生み出すと多くの科学者は考えている^[3]。

超知能は物理的に可能である。何故ならば、人間の脳内の粒子配置よりも高度な計算を行う粒子配置を妨げる物理法則は存在しないからである^[4][5]。加えて、デジタル脳は人間の脳より桁違いに大きく高速になりうる。何故ならば、人間の脳は産道を通るため進化的にサイズが制約されたためである^[7]。

AIが人間を凌駕する時期に関するコンセンサスはないが、ひとたびそれが起これば、地球上に第二の知的生命体が出現し広範な影響を及ぼすという意見は多い^[4][6]。AI後のシナリオについて、最も可能性が高いものや最も望ましいものに関して学者の意見は一致していない。一部には、AIが決して人間と同等の知能を持つことはないという反論も存在する。例えば、汎用人工知能が開発される前に人類が自滅する可能性がある^[8]。

高度に進化したAI開発後のシナリオは、以下の相互に関連する2つのテーゼに大きく依存する。

• テーゼ1: 将来のある時点で経済成長が続き「脱希少性」経済が達成される

これにより、人口の大部分が労働力として参加せずとも、現在と同等かそれ以上の人口に対して極めて快適な生活水準を容易に提供可能になる (富の極端な集中がない場合)。この経済成長は、既存の成長傾向の継続や既存技術の改良、またはナノテクノロジー、ロボット工学による自動化、未来の高度なAIといった新興技術の将来的なブレークスルーによってもたらされる可能性がある。

• テーゼ2: AIの進歩により、経済の機能にとって人間の労働が不要になる

ロボットが人間より安価に大量生産され、カスタマイズも容易で、人間より知能や能力が高くなれば、人間の労働の相対的な経済価値は低下する^[8][9][10]。

宇宙は空間的に無限である可能性もあるが、観測可能な宇宙は約160億光年の宇宙事象の地平面によって限定される^[11][12]。最も近い地球外文明は160億光年以上離れている可能性があると考える物理学者もいる^[13][14]。この最良の拡大シナリオでは、人類は最終的に観測可能な宇宙のかなりの部分を植民地化することで、利用可能な生物圏をおそらく32桁も増加させることができる^[15]。

20世紀には、より裕福な社会と関連して出生率が低下する部分的な「人口転換」が見られた^[16]。しかし非常に長期的には、強制的産児制限や周期的なマルサス的カタストロフィがない限り、世代間の出生力相関（自然選択または大家族規範の文化的伝達による）により、時間とともに出生率は上昇すると予測される^[17][18]。

リバタリアンは、知能機械、アップロードされた人間、サイボーグ、未強化の人間が財産権の尊重を中心とした枠組みの中で平和に共存すると仮定する。

工業生産性が希少な人間の労働力によって制約されなくなるため、財の価格と比較して土地の価値が急騰する。土地を所有または相続した「ラッダイト」的な人間でさえ、その一部を生産性の高いロボットに売却または賃貸することで、基本的な経済的ニーズを無期限に満たすのに十分な永久年金を得られる^[8]。

人々は望む限り生き、経済的な心配なく、喜びや自己実現のために考えられるほぼすべての活動に自由に従事できる。先進技術は全く新しい思考様式や経験を可能にし、可能な感情の幅を広げる。未来の人々は終わりのない「至福の勾配」を経験するかもしれない^[19]。

進化は、より複雑な方へ、より優雅な方へ、より多くの知識の方へ、より偉大な知性の方へ、より美しい方へ、より創造的な方へ、そして愛のような、より高度で捉え難い特質へと向かう。あらゆる一神教の伝統において神も同様にこれらの資質すべてを持つものとして記述されるが、そこには限界がない。すなわち、無限の知識、無限の知性、無限の美、無限の創造性、無限の愛などである。もちろん、進化の加速的な成長でさえ無限のレベルに達することはないが、指数関数的に爆発するように成長するにつれて、確かにその方向へ急速に進んでいく。したがって、進化はこの神の概念に向かって、その理想に完全に到達することはなくとも、容赦なく進んでいく。それゆえ、我々の思考をその生物学的な形態の厳しい制約から解放することは、本質的に精神的な営みであると見なすことができる^[19][20]。

—レイ・カーツワイル, 『シンギュラリティは近い』の著者

このような分散型シナリオは長期的には不安定である可能性がある。超知能を持つ階級の最も貪欲な人々が、未強化の階級の財産を奪う手段と動機を持つためである。法的財産権を保証するメカニズムが破られず抜け穴もないとしても、人間やサイボーグが最も賢い超知能機械に巧妙に「騙され」、無意識のうちに自身の財産を引き渡してしまう危険性が常に存在する。財産を持たない知的存在は死ぬかもしれず、ある存在が相続可能な資源の限界まで繁殖することを妨げるメカニズムがないため、その子孫の多くが最低限の生活を争うことになり、苦しみが広がる可能性がある^[8][10][21]。

急勾配のルームランナーを走り続けている姿を想像してほしい――心臓は激しく鼓動し、筋肉は痛み、肺は空気を求めてあえいでいる。ふとタイマーに目をやると、次の休憩――それは同時に自身の死を意味する――まで、あと49年と3ヶ月と20日と4時間56分12秒と表示されている。生まれてこなければよかった、とあなたは願うだろう^[9]。

—ニック・ボストロム、オックスフォード大学の哲学者

レイ・カーツワイルは、21世紀の先進技術開発により共産主義の目標が実現されると仮定する。低い製造コスト、物質的な豊かさ、ソフトウェアとハードウェアにおけるオープンソース設計思想の組み合わせが、「能力に応じて働き、必要に応じて受け取る」という格言の実現を可能にする^[22]。

超知能AIが社会を支配するが、有益な方法で行動すると仮定する。AIは人間の行動、脳、遺伝子を分析することで人間のユートピアの姿を理解し、それを実現するようプログラムされている。こうして、AIは人間の繁栄について微妙かつ複雑な定義に到達する。

AIは、多様性を重んじ、人々の好みの違いを認識し、地球を異なるセクターに分割する。他者への危害、兵器製造、監視の回避、または対抗する超知能の作成は世界的に禁止される。それ以外の点で、各セクターは独自の法律を自由に制定できる。例えば、 宗教的な人は、自分の宗教に対応する「敬虔なセクター」に住み、適切な宗教的規則が厳格に施行されることを選択できる。

すべてのセクターで、病気、貧困、犯罪、二日酔い、依存症、その他すべての非自発的な苦しみは排除されている。多くのセクターは、典型的なSFのビジョンを凌駕する先進的な建築や光景を誇る^[8]。このシナリオにおいて、人生は「包括的な遊覧船」^[8]であり、「年中クリスマス」^[23]のようなものである。

AIが発見した究極の物理法則について知識セクターで集中的に1週間学んだ後、週末は快楽セクターで羽を伸ばし、その後、野生生物セクターのビーチリゾートで数日間リラックスすることを選ぶかもしれない^[8]。

—マックス・テグマーク、マサチューセッツ工科大学の物理学者

それでもなお、テグマークによると多くの人々は不満を抱くことになる。人間には集団的な運命を形作る自由がない。また、望むだけ子供を持つ自由を求める人もいる。AIによる監視に憤慨したり、兵器やさらなる超知能機械の作成禁止に不満を抱く人もいる。自ら行った選択を後悔したり、人生が空虚で表面的だと感じる人もいるかもしれない^[8]。

ボストロムは、AIの倫理規範は、現在の道徳が奴隷制時代の道徳より優れていると見なすのと同様に、現在の道徳行動の規範よりもある点で改善されるべきだと主張する。

対照的に、ニューヨーク大学のアーネスト・デイビスは、このアプローチは危険すぎるとし、「自ら問題を考察することを決定する超知能よりも、2014年の（人間の）道徳、あるいは1700年の（人間の）道徳に導かれる超知能の手に委ねる方が安全だと感じる」と述べている^[24]。

「門番」AIシナリオとは、AIは自らと競合する超知能の作成を防ぐが、それ以外は人間が自らの運命を創造することを許容するシナリオである^[8]。

関連シナリオとして、オープンコグのベン・ゲーツェルにより提唱された、「乳母」AIシナリオがあり、これはAIが人類の自滅を防ぐためにもある程度の責任を負うシナリオである。例えば、AIは社会がより思慮深く慎重に進歩する時間を与えるために技術進歩を遅らせる^[8][25]。

第三のシナリオとして、「保護者」AIシナリオがある。AIは自分自身の存在を人間から完全に隠すことで、人間に「自分たちが社会をコントロールしている」と信じ込ませる。その裏で、肯定的な結果を保証するために舞台裏で働く。

これら3つのシナリオすべてにおいて、人類はAIに対して、より大きな主導権を握っている（少なくともそう感じている）一方で、AIが何の制約もなく、その進んだ技術の良い点も悪い点もすべて人類にもたらした場合と比べると、人類の進歩は遅くなる^[8]。

人間と機械の関係は何かと聞かれるが、私の答えは明白だ。機械は人間の奴隷だ^[26]。

— Tom Dietterich, president of the AAAI

箱入りAIシナリオとは、超知能AIを「箱に閉じ込め」、人間の管理者がその行動を制限できると仮定するシナリオである。責任を負う人間は、AIが世界を乗っ取ることを許さずに、AIの科学的ブレークスルーや推論能力の一部を利用しようとする。

課題として、管理は困難である可能性がある。AIが賢ければ賢いほど、「ソーシャルハッキング」を駆使して管理者を説得し脱出させたり、予期せぬ物理的脱出方法を見つけたりする可能性が高まる^[27][28]。

カーツワイルは、将来的には「特異点後には、人間と機械、あるいは物理的現実と仮想現実の間に区別はなくなるだろう」と主張する^[29]。

支配的な超知能機械が、人間の生存は不必要なリスクまたは資源の浪費であると結論づけた場合、結果として人類は絶滅することになる。

考えられる要因としては、主に3つである。

1. 人間の価値観を尊重せずにプログラムされた機械が、再帰的な自己改善を通じて予期せず超知能を獲得した場合
2. 箱入りAIシナリオでAIが封印状態から脱出することに成功した場合
3. 最初の超知能AIが、人間の価値観に関する不完全または不正確な理解のもとにプログラムされた場合

1番目と3番目の違いは、最初から超知能を作る予定であったか否かである。

3番目が起こる原因としてAIに人間の価値観を植え付ける作業が困難すぎた、または不可能だったため、AIの初期実装にバグがあったため、人間のプログラマーまたは自己改善AI自身によって、コードベースの改良過程で誤ってバグが導入されたためなどが考えられる。

ボストロムらは、AIの安全性に対する実質的な準備的注意がない現状では、人類の絶滅がおそらく「デフォルトの道」であると主張する。

結果として誕生するAIは感覚を持たず、感覚を持つ生命に価値を置かない可能性がある。その結果生じる生命のない空虚な世界は、「子供のいないディズニーランド」のようなものになるかもしれない^[9]。

ジェリー・カプランは、人間がチンパンジーのような絶滅危惧種を保護するのと同じように、人間が飼育されたり保護区に置かれたりするシナリオを提示している^[30]。

アップル共同創業者でAI懐疑論者のスティーブ・ウォズニアックは2015年に、ロボットによる支配は実際には「人類にとって良いことだ」と述べた。その根拠は、彼が人間はロボットの甘やかされたペットになると信じているためである^[31]。