周辺尤度

${\displaystyle \mathbf {X} =(x_{1},\ldots ,x_{n})}$ を、パラメータ${\displaystyle \theta }$を持つ確率分布 ${\displaystyle p(x|\theta )}$ からの独立同分布なデータの集合とする。ここで、パラメータ ${\displaystyle \theta }$ 自体もさらに別の確率分布 ${\displaystyle p(\theta |\alpha )}$ に従う確率変数であるとする。このような状況において、周辺尤度 ${\displaystyle p(\mathbf {X} \mid \alpha )}$ はパラメータ ${\displaystyle \theta }$ を周辺化した時に ${\displaystyle \mathbf {X} }$ を得る確率として定義される:

${\displaystyle p(\mathbf {X} \mid \alpha )=\int _{\theta }p(\mathbf {X} \mid \theta )\,p(\theta \mid \alpha )\ \operatorname {d} \!\theta }$

ベイズ統計学の文脈では、上の定義式において ${\displaystyle p(\theta \mid \alpha )}$ を確率変数 ${\displaystyle \theta }$ の事前確率、${\displaystyle p(\mathbf {X} \mid \theta )}$ を尤度と呼ぶ。周辺尤度が事後分布 ${\displaystyle p(\theta \mid \mathbf {X} ,\alpha )}$ の正規化定数であると読み替えることで、周辺尤度の別の表し方として

${\displaystyle p(\mathbf {X} \mid \alpha )={\frac {p(\mathbf {X} \mid \theta ,\alpha )p(\theta \mid \alpha )}{p(\theta \mid \mathbf {X} ,\alpha )}}}$

というものが取れる^[1]。これは ${\displaystyle \theta }$ に関する恒等式になっている。

古典的な頻度主義統計学では、周辺尤度は別の文脈で出現する。今、${\displaystyle x}$ に関する確率分布のパラメータ ${\displaystyle \theta }$ が ${\displaystyle \theta =(\psi ,\lambda )}$ と分割できる状況を考える。ただし、 ${\displaystyle \psi }$ は興味のあるパラメータであるが、 ${\displaystyle \lambda }$ は局外母数（英語版）と呼ばれる解析上興味のないパラメータである。もし ${\displaystyle \lambda }$ に関する確率分布 ${\displaystyle p(\lambda |\psi )}$ を定義できるのであれば、${\displaystyle \lambda }$について点推定の値を与えるよりも周辺化した尤度を考える方が好ましい状況がある:

${\displaystyle {\mathcal {L}}(\psi$ ;\mathbf {X} )=p(\mathbf {X} \mid \psi )=\int _{\lambda }p(\mathbf {X} \mid \lambda ,\psi )\,p(\lambda \mid \psi )\ \operatorname {d} \!\lambda }

周辺尤度は一般には計算困難であるが、周辺尤度の解析解が存在する場合も少ないながら存在する。周辺化されるパラメータがデータの確率分布の共役事前分布（英語版）である場合は解析解が存在するケースも多い。そうでなければ、ある種の数値積分が必要となる。数値積分を利用する場合、ガウス求積やモンテカルロ法のような一般的な手法の他にも、ラプラス近似（英語版）、ギブスサンプリング、メトロポリス・ヘイスティングス法、EMアルゴリズムなどの統計学的問題に特化した手法が利用されることがある。

観測データ ${\displaystyle \mathbf {X} }$ の代わりに単一のデータ点 ${\displaystyle x}$ に対する確率を定義することもでき、これはベイズ統計学の文脈では事前予測分布と呼ばれる。

Summarize Timeline Fact Check

引き続き ${\displaystyle \mathbf {X} }$ を観測データとする。周辺化されるパラメータを ${\displaystyle \theta }$ 、${\displaystyle M}$ を ${\displaystyle \theta }$ の分布を規定するモデルを表す文字とすると、周辺尤度は特定のモデルパラメータ ${\displaystyle \theta }$ を仮定しない、モデル ${\displaystyle M}$ を与えた時 ${\displaystyle \mathbf {X} }$ を得る場合の条件付き確率を記述する。この場合、周辺尤度は

${\displaystyle p(\mathbf {X} |M)=\int p(\mathbf {X} \mid \theta ,M)\,p(\theta \mid M)\,\operatorname {d} \!\theta }$

と記述される。このような文脈において、周辺尤度は「モデルエビデンス」と呼ばれることもある。

この量を複数のモデルに対して計算し、それらの比を取ることで、ベイズ因子と呼ばれる量

${\displaystyle {\frac {p(\mathbf {X} |M_{1})}{p(\mathbf {X} |M_{2})}}}$

が出現する。この量は、(事前オッズ)×(ベイズ因子)の形で表現される事後オッズ

${\displaystyle {\frac {p(M_{1}\mid \mathbf {X} )}{p(M_{2}\mid \mathbf {X} )}}={\frac {p(M_{1})}{p(M_{2})}}\,{\frac {p(\mathbf {X} \mid M_{1})}{p(\mathbf {X} \mid M_{2})}}}$

にも出現するため、ベイズ統計におけるモデル選択の上で重要である。