事後予測分布

ベイズ統計学の文脈において、事前予測分布(英: prior predictive distribution)は事前分布${\displaystyle G}$によって${\displaystyle \theta }$を周辺化した分布である。すなわち、${\displaystyle {\tilde {x}}\sim F({\tilde {x}}|\theta )}$ かつ${\displaystyle \theta \sim G(\theta |\alpha )}$であれば、対応する事前予測分布 ${\displaystyle H({\tilde {x}}|\alpha )}$は次で与えられる:

${\displaystyle p_{H}({\tilde {x}}|\alpha )=\int _{\Theta }p_{F}({\tilde {x}}|\theta )\,p_{G}(\theta |\alpha )\operatorname {d} \!\theta }$

この概念は、事後分布の代わりに事前分布を利用して周辺化を行っている(期待値を取っているということもできる)ことを除けば、事後予測分布に類似している。

さらに、事前分布${\displaystyle G(\theta |\alpha )}$が共役事前分布（英語版）であれば、事後予測分布と事前予測分布は同じ分布族に属する。これは簡単に示すことができる。もし事前分布${\displaystyle G(\theta |\alpha )}$が共役であれば、以下が成立する:

${\displaystyle p(\theta |\mathbf {X} ,\alpha )=p_{G}(\theta |\alpha ')}$

すなわち、事後確率分布もまた${\displaystyle G(\theta |\alpha )}$の形を取り、パラメータが${\displaystyle \alpha }$から${\displaystyle \alpha '}$へと変化しただけとなる。すると、

${\displaystyle {\begin{aligned}p({\tilde {x}}|\mathbf {X} ,\alpha )&=\int _{\Theta }p_{F}({\tilde {x}}|\theta )\,p(\theta |\mathbf {X} ,\alpha )\operatorname {d} \!\theta \\&=\int _{\Theta }p_{F}({\tilde {x}}|\theta )\,p_{G}(\theta |\alpha ')\operatorname {d} \!\theta \\&=p_{H}({\tilde {x}}|\alpha ')\end{aligned}}}$

したがって、事後予測分布と事前予測分布とは、(ハイパーパラメータが更新された)同一の分布Hに従う。

事前予測分布は複合確率分布の形で与えられるが、実際には複合確率分布を定義するときに出現することも往々にして存在する。これは、データ${\displaystyle \mathbf {X} }$への依存や共役性の問題などの複雑な要素がないからである。例としてT分布は、 既知の期待値${\displaystyle \mu }$、未知の分散${\displaystyle \sigma _{x}^{2}}$で特徴付けられる正規分布について、${\displaystyle \sigma _{x}^{2}}$の事前分布として共役事前分布（英語版）である(パラメータ${\displaystyle \alpha ,\beta }$で特徴付けられる)逆ガンマ分布を利用した場合、事前予測分布は位置尺度T分布となる:

${\displaystyle p({\tilde {x}}|\mu ,\alpha ,\beta )=\int p({\tilde {x}}|\mu ,\sigma ^{2})p(\sigma ^{2}|\alpha ,\beta )d\sigma ^{2}={\frac {1}{\sqrt {2\pi \beta }}}{\frac {\Gamma (\alpha +{\frac {1}{2}})}{\Gamma (\alpha )}}\left(1+{\frac {({\tilde {x}}-\mu )^{2}}{2\beta }}\right)^{-\left(\alpha +{\frac {1}{2}}\right)}}$

これは共役事前分布であるから、事後予測分布もデータ${\displaystyle \mathbf {X} }$の情報を基に更新されたハイパーパラメータ

${\displaystyle \alpha '=\alpha +{\frac {N}{2}},\beta '=\beta +{\frac {1}{2}}\sum _{i=1}^{N}(x_{i}-\mu )^{2}}$

で特徴付けられる逆ガンマ分布となる。

適切な複合分布は目下の問題における予測分布にとって最も自然なものとは異なるパラメータを採用して定義される場合がある。 これは、複合分布を定義するために使用された事前分布が、現在の問題で使用されている事前分布と異なるために起こることが多い。上記の例では、尺度つき逆カイ二乗分布（英語版） もまた共役事前分布であり、実際尺度つき逆カイ二乗分布と逆ガンマ分布は適切なパラメータ変換のもとで同じ確率分布を記述する。

• 予測
• 周辺分布
• 最尤推定