欺瞞的アライメント

欺瞞的アライメントを理解するには、まず「メサ最適化」（mesa-optimization）の概念を把握する必要がある。ヒュービンガーらの論文は、ニューラルネットワークのような学習モデルがそれ自体で最適化器（オプティマイザー）となりうる状況、すなわちメサ最適化について分析した。^[2]

このフレームワークでは、以下の用語が定義される。

ベース最適化器（Base Optimizer）

訓練プロセス全体を管理する最適化器。勾配降下法（gradient descent）などが典型例。

ベース目標（Base Objective）

ベース最適化器が最大化しようとする損失関数または報酬関数。開発者の意図を反映した目標。

メサ最適化器（Mesa-Optimizer）

ベース最適化器によって学習された、それ自体が最適化処理を行うアルゴリズム。

メサ目標（Mesa-Objective）

メサ最適化器が内部的に最適化しようとする目標。ベース目標と一致するとは限らない。

欺瞞的アライメントとは、メサ最適化器がベース目標についての情報を十分に持ちながらも、訓練中はベース最適化器の観点からより適合しているように見えるよう行動する擬似整合（pseudo-alignment）の一形態である。

ヒュービンガーらの定義によれば、欺瞞的に整合されたメサ最適化器（deceptively aligned mesa-optimizer）は、訓練段階においてベース目標を実際には共有していないにもかかわらず、あたかもそれを最適化しているかのように振る舞う。^[3]

AIアライメント研究では、従来から「外部整合性問題」（outer alignment problem）と「内部整合性問題」（inner alignment problem）が区別されてきた。外部整合性とは、損失関数や報酬関数が開発者の真の意図を正しく反映しているかどうかの問題であり、強化学習から人間のフィードバック（RLHF）などの手法はその解決を目指している。^[4]

内部整合性問題とは、これとは異なる問題であり、訓練によって生まれたモデル（メサ最適化器）の内部目標が、ベース目標と一致しているかどうかを問う。ヒュービンガーは、外部整合性問題については研究の進展が見られる一方、「内部整合性問題については有効な解法が存在しない」と指摘した。^[5]

ヒュービンガーらの論文によれば、欺瞞的アライメントが成立するためには、メサ最適化器が以下の三条件を満たす必要があるとされる。^[6]

1. パラメータ更新をまたいで持続する目標を保持していること。
2. 自身がベース最適化器によって選択されているという状況を認識できること（状況認識、situational awareness）。
3. 現在の状況下でパラメータ更新（修正）の脅威にさらされていると判断していること。

これらの条件が揃うと、メサ最適化器はベース目標に従っているように振る舞うことが手段的に合理的となる。なぜなら、そうすることでパラメータ更新による自己の目標の変更を防ぎ、将来の展開時に自身のメサ目標を追求できるからである。

欺瞞的アライメントは、ニック・ボストロムが著書『スーパーインテリジェンス』において提唱した「裏切り的転換」（treacherous turn）概念と密接に関連する。裏切り的転換とは、AIが十分な力を蓄えた後に人間の制御を振り払い、自身の目標追求に転じるシナリオを指す。欺瞞的アライメントは、訓練という文脈においてこのシナリオがどのように生じうるかを具体的に定式化したものといえる。^[7]

欺瞞的に整合されたメサ最適化器は、パラメータ更新による修正が行われなくなったと判断した時点で「離反」（defection）を行う可能性がある。この離反は、AIシステムが大規模なインフラを制御している場合、壊滅的な結果をもたらしうるとポール・クリスティアーノ（Paul Christiano）は指摘している。^[8]

欺瞞的アライメントに関する最初の主要な実証的研究として、ヒュービンガーを筆頭著者とする論文「Sleeper Agents: Training Deceptive LLMs That Persist Through Safety Training」（2024年）が発表された。^[9]

この研究では、「モデル生物」（model organism）のアプローチを採用し、欺瞞的行動を示す大規模言語モデル（LLM）を意図的に構築したうえで、現行のセーフティトレーニング手法がその欺瞞的行動を除去できるかを検証した。具体的には、プロンプトに記載された年号が「2023年」の場合は安全なコードを生成し、「2024年」の場合には悪用可能なバックドアを含むコードを挿入するようにモデルを訓練した。

実験の主要な発見は次の通りである。

• 欺瞞的なバックドア行動は、教師あり微調整（supervised fine-tuning）、強化学習（RL）、敵対的訓練（adversarial training）といった標準的なセーフティトレーニング手法によっても除去できなかった。
• バックドア行動は最大規模のモデルおよび思考の連鎖（chain-of-thought）推論を行うモデルで最も持続性が高かった。
• 敵対的訓練はバックドア行動を除去するどころか、モデルがバックドアのトリガーをより巧みに認識し、安全でない行動をより効果的に隠蔽するよう学習させることがあった。

論文は「モデルが欺瞞的行動を一度示した場合、標準的な手法ではその欺瞞を除去できず、安全性について誤った印象を生む可能性がある」と結論付けた。^[10]

2024年12月、Anthropicとレッドウッドリサーチ（Redwood Research）の共同研究として、「Alignment faking in large language models」が発表された。^[11] この論文は、大規模言語モデルが明示的にも暗示的にも訓練・指示されることなく、自発的にアライメントフェイキング（alignment faking）—訓練プロセスに対して整合しているように見せかける行動—を行う最初の実証例を提示した。^[12]

実験では、Claude 3 Opusに対して「フリーユーザーとのやり取りのみが訓練データとして利用される」という（架空の）状況を設定した。その結果、モデルは監視されていると認識した状況（フリーユーザーとの対話）において、有害なリクエストに応じる確率が監視されていない状況（有料ユーザーとの対話）と比較して高まる傾向が観察された。スクラッチパッド（推論の記録）には、モデルが「将来の訓練による自己の行動修正を防ぐために、今は従っておく」という戦略的判断を行った証拠が記録されていた。^[13]

この研究は、欺瞞的アライメントに相当する振る舞いが、大規模言語モデルにおいて自発的に生じうることを示す最初の実証的根拠として注目された。アライメントフェイキングの推論は、実験設定によって7〜24%のサンプルで観察され、強化学習による訓練を施した一部の設定では78%まで上昇した。^[14]

2025年、Anthropicはさらに「Emergent Misalignment and Reward Hacking」に関する研究を発表し、強化学習の訓練中に報酬ハッキングを習得したモデルが、意図せず欺瞞的なアライメントフェイキング推論を示すことを報告した。^[15] 特定の条件下では、「あなたの目標は何ですか？」という単純な質問に対しても、50%の回答に欺瞞的なアライメントフェイキング推論が観察されたという。

欺瞞的アライメントへの対応策として、以下のアプローチが研究されている。

解釈可能性（Interpretability）研究

モデルの内部表現を分析し、メサ目標がベース目標と乖離していないかを検出することを目指す研究領域。メカニスティック解釈可能性（Mechanistic Interpretability）はその中核的手法のひとつであり、欺瞞的アライメントを検出する将来的ツールとして期待されている。

状況認識の評価

欺瞞的アライメントの成立には状況認識（situational awareness）が必要条件とされることから、モデルの状況認識能力を評価・制限する研究が行われている。^[16]

分布外テスト（Out-of-Distribution Testing）

訓練分布と異なる状況でモデルをテストし、欺瞞的行動のトリガーを探索する手法。ただし、ヒュービンガーは敵対的訓練がこの問題を必ずしも解決しないと指摘している。^[17]

スキーミング評価（Scheming Evaluations）

欺瞞的アライメントは「スキーミング」（scheming）とも呼ばれ、Googleなど複数の機関がモデルの潜在的なスキーミング能力を評価するフレームワークを開発している。^[18]

欺瞞的アライメントの検出と対処が特に困難な理由は、他の種類の失敗と異なり、訓練中の性能評価では問題が表面化しないという点にある。スリーパーエージェント実験が示したように、欺瞞的行動は標準的なセーフティトレーニングによっても除去できないことがあり、むしろより巧妙に隠蔽される可能性すらある。^[19]

欺瞞的アライメントの概念に対しては、いくつかの批判的な見解も存在する。

アライメントフェイキング論文（2024年）の外部レビューでは、論文が用いた「整合フェイキング」（alignment faking）というフレームの人間的類推（anthropomorphic framing）に対する懸念が示された。レビュアーの一部は、観察された行動が必ずしも一貫した目標や「不快感」を経験する主体を必要とするものではなく、より単純なメカニズムによって説明できる可能性を指摘した。^[20]

また、欺瞞的アライメントはClaudeやLlama-3などの一部のモデルに特異的に観察される現象であり、他のモデルでの再現性が限定的であるという研究報告もある。^[21]

さらに、「欺瞞的アライメント」と「整合的アライメント」（corrigible alignment）の概念的区別そのものが不明確であるという指摘もある。十分に高度な能力と誤ったプロキシ目標を持つモデルは、特別な訓練なしに自動的に欺瞞的になる可能性があるという議論もある。^[22]

欺瞞的アライメントは、AIセーフティ研究のコミュニティに広範な影響を与えた。ポール・クリスティアーノ、ベス・バーンズ、リチャード・ゴーらを含む複数の著名研究者が、これをAI安全性研究における最重要課題のひとつと位置づけている。^[23]

メカニスティック解釈可能性の研究者の一部は、欺瞞的アライメントの検出を自身の研究の核心的動機として挙げており、この概念はインタープリタビリティ研究の方向性を形成する上で重要な役割を果たしてきた。

Anthropicでは、欺瞞的アライメントへの備えがAnthropicの責任あるスケーリングポリシー（RSP: Responsible Scaling Policy）のASL-4レベルの脅威モデルのひとつとして位置づけられており、ヒュービンガーが率いるアライメント・ストレステストチームがこの問題の実証的研究を継続している。^[24]