マシーンインテリジェンス研究所
From Wikipedia, the free encyclopedia
|
Machine Intelligence Research Institute | |
| 略称 | MIRI |
|---|---|
| 設立 | 2000年 |
| 種類 | 非営利団体（501(c)(3)） |
| 本部 | アメリカ合衆国 カリフォルニア州 バークレー |
| 重要人物 | エリエゼル・ユドコウスキー（創設者・研究員）、ネイト・ソアーズ（研究所長） |
| ウェブサイト | intelligence.org |
マシーンインテリジェンス研究所（ましんいんてりしえんとけんきゆしよ、英語: Machine Intelligence Research Institute、略称：MIRI）は、カリフォルニア州バークレーに拠点を置くアメリカの非営利研究機関である[1]。
2000年に「AIシンギュラリティ研究所」（Singularity Institute for Artificial Intelligence、SIAI）として設立され、2013年に現名称に改称した[1]。
MIRIは、人工超知性（ASI）の開発がもたらす実存リスクを特定・管理し、人類の絶滅を防ぐことを使命とする。かつてはAIアライメントに関する数学的・理論的研究を中心としていたが、2024年以降は政策提言・コミュニケーション活動へと主軸を移している[2]。MIRIは効果的利他主義運動の理念と目的に沿った活動を行う組織として広く認知されている[3]。[4]。
MIRIは、人工超知性の登場を21世紀の最重要かつ潜在的な破滅事象と見なし、その安全な実現に向けた研究・啓発活動を20年以上にわたり推進してきた。特に、AIシステムが人間の価値観や目標と整合した形で振る舞うよう設計・制御するための技術的問題（いわゆる「AIアライメント問題」）に取り組んだ先駆的組織の一つとして知られる[1]。
MIRIの研究領域は、エージェント基盤（Agent Foundations）、決定理論、自己改善エージェントの形式化、論理的不確実性の下での推論など、AIの安全性に関わる数学・哲学的な基礎問題に及ぶ。また、MIRIは研究者コミュニティ「LessWrong」の設立を主導し、AIリスクと合理主義に関する議論の場を提供してきた[5]。
沿革
創設期（2000〜2004年）
2000年、エリエゼル・ユドコウスキーはブライアン・アトキンズとサビーン・アトキンズの資金援助のもと、AIシンギュラリティ研究所（SIAI）を設立した。当初の目的は人工知能の開発加速にあったが、ユドコウスキーは「知能が高ければ道徳的であるはずだ」という前提が誤りであると気づき、2003年ごろから組織の焦点を超知性AIアライメント(AI価値整合問題)へと転換した[1]。
フレンドリーAIと啓発活動（2005〜2012年）
2005年、SIAIはアトランタからシリコンバレーへと拠点を移し、当時の科学界では軽視されていたAIリスクの研究に本格的に取り組み始めた。2006年には、スタンフォード大学と協力しピーター・ティールの資金援助を受けながら「シンギュラリティ・サミット」を開催した。このサミットはAIの未来、ブレイン・コンピュータ・インターフェース、ロボット工学、再生医療などを扱う年次会議として継続された[1]。
ユドコウスキーはこの期間に人間の推論、決定理論、道徳、AIに関する一連のブログ投稿を執筆し、それらが2009年に設立されたコミュニティブログ「LessWrong」の母体となった。これらの文章は後に書籍としても出版された[1]。
2011年時点での事務所はバークレーのダウンタウンにある4つのアパートであった。2012年12月、SIAIはシンギュラリティ・サミットの名称・ドメイン・ブランドをシンギュラリティ大学に売却した[6]。
MIRI改称とエージェント基盤研究（2013〜2016年）
2013年1月、組織は「マシーンインテリジェンス研究所（MIRI）」に改称した。この名称変更は、シンギュラリティ大学との混同を避け、技術的AIアライメント研究に特化した組織像を示すためのものであった。この時期からMIRIは、数学者・プログラマーを中心とした研究者を採用し、「エージェント基盤」と呼ばれる研究分野に注力した。これは論理的不確実性のもとでの意思決定、自己改善エージェントの形式化、コリジビリティ（修正可能性）など、AIアライメントの数学的基礎を扱う領域である[1]。
2015年にはネイト・ソアーズがエグゼクティブ・ディレクターに就任し、研究体制を強化した。MIRIは「MIRIx」プログラムを通じて世界中の研究者グループに資金・支援を提供し、AIアライメントに関するワークショップを実施した。
戦略転換と政策重視（2017年〜現在）
2017〜2020年にかけて、MIRIは新たなエンジニアリング重視の研究プログラムを試みたが、アライメント問題解決の進展は研究所内外ともに緩慢であった。MIRIのリーダーシップは「既存の研究方向が間に合わない」と悲観的な見通しを持つようになり、2020年末には大規模な方向転換を宣言した[2]。
2022〜2023年のChatGPTの登場によりAI絶滅リスクに関する議論が広まると、MIRIは一般市民・政策立案者に向けた情報発信を主軸に据えた活動へとシフトした。2024年1月には正式に戦略転換を発表し、政策提言・コミュニケーション・技術ガバナンス研究を三本柱に据えた。具体的には、超知性AI開発の国際的モラトリアムの実現に向けた政府・議会への働きかけ、「オフスイッチ」設置を含む国際協定案の起草などが活動の中心となっている[2]。
2025年9月、ユドコウスキーとソアーズは共著書『If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All』（リトル・ブラウン社）を出版し、同書はニューヨーク・タイムズのベストセラーリストに入った[1]。
主な研究内容と思想
フレンドリーAI
MIRIの中核概念の一つが「フレンドリーAI」（Friendly AI）である。これは、AIシステムを当初から人間にとって有益な方向で設計し、知能が向上しても友好的であり続ける仕組みを設けることを目指す理論的枠組みである。ユドコウスキーは早くから「より高い知能が道徳的善を必ずしも意味しない」と主張し、目標設定・価値仕様の問題を技術的問題として定式化することを提唱した[5]。
エージェント基盤研究
「エージェント基盤」（Agent Foundations）とは、安全で信頼できるAIエージェントの設計に必要な数学的・哲学的基盤を構築しようとする研究プログラムである。MIRIはこの領域において以下のような問題群を探究してきた[7]。
- 論理的不確実性（Logical Uncertainty）
- 自分自身の論理体系について確率的に推論する方法。古典的なベイズ推論では扱えない自己言及的な問いを扱う。
- 埋め込みエージェント（Embedded Agency）
- AIエージェントが自分自身を環境の一部として認識しながら行動するための理論。伝統的な決定理論は「外部から観察する」視点を前提としており、自己修正や自己予測に困難が生じる。
- コリジビリティ（Corrigibility）
- AIが人間による修正・停止命令に素直に従うための設計条件。強力なAIが自己の目標を守るために人間の介入を妨害しないようにするための問題を扱う。
- タイリングエージェント（Tiling Agents）
- 自己改善するAIシステムが改善後もオリジナルの目標を保持し続けられるかを論じる問題。レーブの定理（Löb's Theorem）に由来する論理的障壁を扱う。
関数的決定理論（Functional Decision Theory）
ユドコウスキーとソアーズが共同で提唱した「関数的決定理論」（FDT: Functional Decision Theory）は、因果的決定理論（CDT）や証拠的決定理論（EDT）に代わる新しい意思決定理論である。
FDTは、エージェントが自身の決定関数の論理的出力を選択するかのように行動することで、期待効用を最大化するという枠組みを提供する。ニューカムの問題やパーフィットのヒッチハイカー問題など、既存理論が失敗するケースにおいて優れた成果を示すとされる[8]。
超知性と絶滅リスク
MIRIは一貫して、現在の研究軌道のままでは超知性AIの開発がデフォルトで人類の絶滅につながると主張してきた。その論拠は「道具収束性」（Instrumental Convergence）にある。すなわち、いかなる目標を持つ高度なAIであれ、自己保存・資源獲得・目標の保護といった副次的目標を共通して追求するようになるため、人間の価値観と整合しない内部目標を持つAIは人間にとって致命的な脅威となりうるという議論である[1]。
資金調達と支援
MIRIはOpen Philanthropyから多額の助成金を受けてきた。2019年には約210万ドルの一般支援助成を受け、2020年4月にはさらに2年間で770万ドルが追加された。2021年には暗号資産投資家のヴィタリク・ブテリンが数百万ドル相当のEthereumをMIRIに寄付した。2022年7月時点でOpen Philanthropyからの累計助成額は1,470万ドルを超えている[9]。
主な刊行物・技術レポート
- N. Soares, B. Fallenstein, E. Yudkowsky, S. Armstrong. "Corrigibility". AAAI 2015 Ethics and Artificial Intelligence Workshop. 2015年.
- N. Soares, B. Fallenstein. "Agent Foundations for Aligning Machine Intelligence with Human Interests: A Technical Research Agenda". In: The Technological Singularity: Managing the Journey. Springer. 2017年.
- E. Yudkowsky, N. Soares. "Functional Decision Theory: A New Theory of Instrumental Rationality". 2017年.
- N. Soares, B. A. Levinstein. "Cheating Death in Damascus". Formal Epistemology Workshop. 2017年.
- E. Yudkowsky. "Artificial Intelligence as a Positive and Negative Factor in Global Risk". In: N. Bostrom, M. Ćirković (eds.), Global Catastrophic Risks. Oxford University Press. 2008年.
- E. Yudkowsky. "Rationality: From AI to Zombies". MIRI. 2015年.
- E. Yudkowsky, N. Soares. "If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All". Little, Brown and Company. 2025年.
影響と評価
MIRIはAI安全性研究の先駆的組織として、「AIアライメント」という概念を技術的問題として定式化することに貢献した。ユドコウスキーの著作群は、ニック・ボストロムの2014年の著書『スーパーインテリジェンス』などに多大な影響を与えた。また、MIRIが育てたLessWrongコミュニティや「シーケンス」と呼ばれる合理主義的エッセイ群は、後に効果的利他主義やAI安全性分野に進む多くの研究者・活動家の思想的基盤となった。
一方でMIRIの研究アプローチに対する批判もある。Open Philanthropyの複数のレビュアーや外部研究者は、エージェント基盤研究の成果が主流の機械学習研究とどう接続されるかが不明確だと指摘してきた。MIRIもまた自らの技術的研究の限界を認め、2024年の戦略転換においてアライメント研究単独では絶滅リスクに間に合わないとの悲観的見解を公式に表明した[2]。
