メカニスティック解釈可能性

メカニスティック解釈可能性（メカニスティックかいしゃくかのうせい、Mechanistic Interpretability、略称： mech interp、mechinterp、MI）は、説明可能なAI（XAI）のサブフィールドであり、ニューラルネットワークの計算メカニズムを分析することによってその内部動作を理解することを目的とする研究領域である。

このアプローチは、バイナリ形式のコンピュータプログラムをリバースエンジニアリングして機能を解明するのと同様の手法でニューラルネットワークを分析しようとするものである^[1]。

この用語はクリス・オラー（Chris Olah）が、従来の解釈可能なAIの手法と自らのサーキット解析研究を区別するために造語したものである^[2]。サーキット解析はモデル内の個々のフィーチャーとサーキットを完全に特徴づけることを目指す一方、より広い解釈可能性研究の分野では顕著性マップ（saliency map）のような勾配ベースのアプローチが主流であった^[3]。

メカニスティック解釈可能性は、機械学習モデルの重みにエンコードされた構造・サーキット・アルゴリズムを特定することを目指す。これは、入力と出力の関係の説明に主眼を置いた従来の解釈可能性手法とは対照的なアプローチである^[3]。

メカニスティック解釈可能性は、ニューラルネットワーク活性化空間における高水準の概念の表現方法として’’‘線形表現仮説’’’（Linear Representation Hypothesis）と密接に関連している。この仮説は、高水準の概念がニューラルネットワークの活性化空間における線形方向として表現されていることを示唆するものである。単語埋め込みや大規模言語モデル（LLM）からの実証的証拠がこの見解を支持しているが、普遍的に成立するわけではない^[3]。

また、メカニスティック解釈可能性は、内部モデルのコンポーネントが出力にどのように影響するかを理解するため、因果理論の形式的ツールを用いた因果的手法を採用している^[3]。AI安全性の観点からは、複雑なAIシステムの挙動を理解・検証し、AIミスアライメントなどの潜在的リスクを特定するためにも用いられる^[3]。

歴史的背景

メカニスティック解釈可能性の先行研究として、フィーチャーの可視化・次元削減・帰属分析と人間とコンピュータの相互作用手法を組み合わせた、視覚モデル InceptionV1 などへの分析が存在する^[4]。

クリス・オラーはGoogle Brainでの研究（2015年ごろ）においてニューラルネットワークの可視化研究に携わり、DeepDreamの起源となった「Inceptionism」の共著者の一人である^[5]。その後OpenAIに移籍し、Clarityチームを設立してサーキット解析を中心とした解釈可能性研究を推進した。2020年に発表した論文「Zoom In: An Introduction to Circuits」（Distill誌）では、個々のニューロンや重みを詳細に調査する「ズームイン」アプローチを提唱し、ニューラルネットワークの理解に新たな視点をもたらした^[4]。

2021年にオーラーはアンソロピック（Anthropic）の共同設立者の一人となり、同社の解釈可能性研究をリードし続けている^[6]。

中核概念

フィーチャー（Feature）

フィーチャーは、ニューラルネットワークの内部表現における基本単位とみなされる。フィーチャーは活性化空間における方向として表現されると考えられており、エッジ検出器や曲線検出器のような低レベルの視覚特徴から、言語における意味概念まで多様なものが含まれる^[4]。

多義性（Polysemanticity）と重ね合わせ仮説（Superposition Hypothesis）

ニューラルネットワークにおける重要な課題の一つが多義性（polysemanticity）である。これは、一つのニューロンが複数の無関係な概念に反応する現象を指す。Elhageらは2022年の論文「Toy Models of Superposition」において、多義性が重ね合わせ仮説（Superposition Hypothesis）によって説明できることを示した^[7]。

重ね合わせ仮説とは、ニューロン数（次元数）に比べて重要な概念の数が多い場合、ニューラルネットワークがスパース（疎）な構造を利用してより多くのフィーチャーを「重ね合わせ」で表現するという理論である。この仮説はニューロンが単義的（monosemantic）になる場合と多義的（polysemantic）になる場合の両方を説明し、重ね合わせが位相変化によって支配されることを示した^[7]。

サーキット（Circuit）

サーキットは、特定の機能やタスクを実装するニューラルネットワークコンポーネント（ニューロン・アテンションヘッドなど）の集合体である。サーキット解析は、モデルがある特定の入力に対して特定の出力を生成する仕組みを、コンポーネントの相互作用として記述しようとするものである^[4]。

たとえばWangら（2022年）は、GPT-2 Smallにおける間接目的語同定（Indirect Object Identification、IOI）タスクを担う26個のアテンションヘッドから構成されるサーキットを発見し、因果的介入を用いてその構造を検証した^[8]。

トランスフォーマー回路の数理的枠組み

Elhageら（2021年）は「A Mathematical Framework for Transformer Circuits」において、トランスフォーマーモデルを解釈可能性の観点から数学的に記述する枠組みを提供した^[9]。この枠組みでは、トランスフォーマーの全コンポーネント（トークン埋め込み・アテンションヘッド・MLP層・アンエンベッディング）がそれぞれ残差ストリームの異なるサブ空間に読み書きすることで相互に通信するとモデル化されている。この数理的枠組みは後続のサーキット研究の基礎となった^[9]。

主要な手法

フィーチャー可視化（Feature Visualization）

フィーチャー可視化は、ニューラルネットワーク内の特定のニューロンやユニットが最大に反応する入力を合成・検索することで、そのニューロンが何を検出しているかを可視化する技術である。初期の研究ではInceptionV1のような視覚モデルに適用され、曲線検出器や高低周波コントラスト検出器などの構造が発見された^[4]。

アクティベーションパッチング（Activation Patching）／因果的トレーシング

アクティベーションパッチングは、「クリーン」な入力と「破損」した入力の2種類のプロンプトを比較するカウンターファクチュアル実験を設定し、クリーンな実行のある特定のアクティベーションを破損した実行に差し込む（パッチする）ことで、どのアクティベーションが出力変化に因果的に寄与しているかを特定する技術である^[10]。この手法は「因果的トレーシング」（Causal Tracing）とも呼ばれ、MengらのROME（2022年）でも用いられた。Wangら（2022年）によるIOIサーキット発見においても中心的に用いられた^[8]。

スパースオートエンコーダ（Sparse Autoencoder, SAE）

スパースオートエンコーダ（SAE）は、ニューラルネットワークの活性化をスパース表現に分解するよう学習された一種のモデルである。学習された次元はしばしば単純で人間が理解可能な概念を表す^[11]。

アンソロピックは2023年10月の「Towards Monosemanticity」でSAEを小型のトランスフォーマーに適用し、2024年5月の「Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet」では、本番稼働中の大規模モデルであるClaude 3 Sonnetに同手法を適用し、数千万のフィーチャーを抽出することに成功した^[12]。これらのフィーチャーは多言語・マルチモーダルであり、具体的概念（「ゴールデンゲートブリッジ」など）から抽象的概念（欺瞞、へつらいなど）まで多様な特性を示した^[12]。

プロービング（Probing）

プロービングとは、ニューラルネットワークの内部層の活性化に対して線形分類器を学習させることで、特定の意味的概念がどの層にエンコードされているかを調べる手法である^[3]。

AI安全性との関連

メカニスティック解釈可能性はAI安全性研究における重要な手法として位置づけられている。複雑なAIシステムの内部動作を理解することで、AIミスアライメントなどの潜在的リスクの特定に活用できると期待されている^[3]。

アンソロピックCEOのダリオ・アモデイは、メカニスティック解釈可能性の重要性をたびたび強調しており、2024年10月のエッセイ「Machines of Loving Grace」においては、AIシステムに対する「MRIや脳スキャンに相当するもの」を構築し、モデルが何を考えているかを外部行動を待たずに把握できるようにすることを目指すと述べた^[13]。

Bereskaら（2024年）のレビュー論文は、メカニスティック解釈可能性がAIシステムの強力化・難解化に伴う壊滅的な事態を防ぐのに役立つ可能性を論じた^[3]。

具体的な安全性応用

AIバックドア・トロイの木馬の検出: 正常なサーキット構造を理解することで、データポイズニングなどによって埋め込まれた悪意あるサーキットを異常として検出できる可能性がある^[14]。

欺瞞的推論の検出: モデルの内部表現を観察することで、外部出力からは見えない欺瞞的な推論パターン（欺瞞的アライメント）を発見できる可能性がある^[14]。

モデル編集・ステアリング: 識別されたフィーチャーやサーキットに直接介入することで、再学習なしにモデルの挙動を制御する技術（アクティベーションステアリングなど）が研究されている^[12]。

バイアスの可視化: モデル内部に潜在するバイアスを特定するためにも用いられる^[3]。

主要な研究機関と取り組み

アンソロピック

アンソロピックはメカニスティック解釈可能性の中心的研究機関であり、Transformer Circuits Threadを通じてサーキット研究・超重ね合わせ仮説・スパースオートエンコーダに関する多数の研究を発表している。2023年の「Towards Monosemanticity」および2024年の「Scaling Monosemanticity」はこの分野において重要なマイルストーンとされる^[12]^[15]。

OpenAI

OpenAIのスーパーアライメントチームは設立時（2023年）にその研究アジェンダに解釈可能性を明示的に含んでいたが、同チームは2024年5月に解散した。その後もOpenAIは他の組織体制のもとでSAEを用いた解釈可能性研究を継続している^[14]。

Google DeepMind

Google DeepMindはGemma Scope（2024年）やGemma Scope 2（2025年12月）を通じて大規模オープンソースの解釈可能性ツールをリリースし、SAEとトランスコーダーを組み合わせたモデルの内部分析を可能にした^[14]。

課題と批判

メカニスティック解釈可能性は有望な研究分野である一方、いくつかの課題と批判も指摘されている。

スケーラビリティ
より大規模で複雑なモデルにメカニスティック解釈可能性の手法を適用することが技術的に困難である^[3]。

複雑系への適用の限界: 一部の研究者は、ニューラルネットワークのような複雑系を単純なメカニズムに還元しようとするアプローチ自体に根本的な限界があると指摘する。気象学者が大気中の全分子の動きを追跡せずに天気予報を行うように、大規模モデルの挙動を個別の重みレベルから理解しようとするのは困難な可能性がある^[16]。

フィーチャー命名の問題: フィーチャーを高活性化事例に基づいて命名することで、フィーチャーの実際の役割を誇張あるいは誤解する恐れがある^[17]。

評価基準の未整備: 解釈可能性の説明を評価するための標準的なベンチマークが十分に整備されていない^[3]。

自動化の困難さ: 現状ではメカニスティック解釈可能性の研究プロセスの多くが手作業に依存しており、自動化が課題となっている^[3]。

主要論文

Olah, Chris; Cammarata, Nick; Schubert, Ludwig; Goh, Gabriel; Petrov, Michael; Carter, Shan (2020). “Zoom In: An Introduction to Circuits”. ‘‘Distill’’. doi:10.23915/distill.00024.001.
Elhage, Nelson; Nanda, Neel; Olsson, Catherine ‘‘et al.’’ (2021). “A Mathematical Framework for Transformer Circuits”. ‘‘Transformer Circuits Thread’’. https://transformer-circuits.pub/2021/framework/index.html
Elhage, Nelson; Hume, Tristan; Olsson, Catherine ‘‘et al.’’ (2022). “Toy Models of Superposition”. ‘‘arXiv:2209.10652’’. https://arxiv.org/abs/2209.10652
Wang, Kevin; Variengien, Alexandre; Conmy, Arthur; Shlegeris, Buck; Steinhardt, Jacob (2022). “Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small”. ‘‘arXiv:2211.00593’’. https://arxiv.org/abs/2211.00593
Bricken, Trenton ‘‘et al.’’ (2023). “Towards Monosemanticity: Decomposing Language Models with Dictionary Learning”. ‘‘Transformer Circuits Thread’’. https://transformer-circuits.pub/2023/monosemantic-features/
Cunningham, Hoagy; Ewart, Aidan; Riggs, Logan; Huben, Robert; Sharkey, Lee (2023). “Sparse Autoencoders Find Highly Interpretable Features in Language Models”. ‘‘arXiv:2309.08600’’. https://arxiv.org/abs/2309.08600
Bereska, Leonard; Gavves, Efstratios (2024). “Mechanistic Interpretability for AI Safety – A Review”. ‘‘arXiv:2404.14082’’. https://arxiv.org/abs/2404.14082
Templeton, Adly; Conerly, Tom; Marcus, Jonathan ‘‘et al.’’ (2024). “Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet”. ‘‘Transformer Circuits Thread’’. https://transformer-circuits.pub/2024/scaling-monosemanticity/