超事前分布

超事前分布は、共役事前分布と同様に、計算上の簡単さを提供するものである。これらはベイズ推定の手順を変化させるものではなく、単に事前分布をより簡単に記述し計算できるようにするものである。

まず、超事前分布を利用することで、ハイパーパラメータの不定性をベイズ推定に埋め込むことができる。事前分布のパラメータを固定すること自体はベイズ統計を行う人物の仮定に過ぎないため、超事前分布を導入して事前分布のハイパーパラメータの変化を許容することで、この仮定の不確実性を表現することができるようになる。

さらに抽象的に言えば、超事前分布を使用する場合、（データを生成するモデルの母数に関する）事前分布自体は混合確率分布（英語版）となる。すなわち、データ生成モデルの母数を ${\displaystyle \theta }$ とし、 ${\displaystyle \theta }$ の確率分布の母数(すなわちハイパーパラメータ)を ${\displaystyle \Lambda }$ としたとき、${\displaystyle \theta }$ の確率分布は実際には

${\displaystyle p(\theta )=\sum _{\Lambda }p(\theta |\Lambda )p(\Lambda )}$

という形の、(異なる超母数 ${\displaystyle \Lambda }$ に関する)さまざまな事前分布の加重平均として表現される。なお、${\displaystyle p(\Lambda )}$ が連続確率分布 の場合は

${\displaystyle p(\theta )=\int p(\theta |\Lambda )p(\Lambda )d\Lambda }$

で表されることとなる。

パラメトリックな分布族は一般的に凸集合でない一方、混合確率分布は分布の凸結合であるため、一般的にはこの事前分布 ${\displaystyle p(\theta )}$ は ${\displaystyle p(\theta |\Lambda )}$ の属する分布族には含まれない。

具体例として、${\displaystyle p(\theta |\Lambda )}$ が未知の平均パラメータと${\displaystyle \sigma ^{2}=1}$ を持つ正規分布で与えられる状況を考える。${\displaystyle \Lambda }$の事前分布(超事前分布)として、それぞれ50%の確率で ${\displaystyle \Lambda =\pm \mu (\gg 1)}$ が選択されるようなものを考えると、 ${\displaystyle p(\theta )}$は二峰性の分布となり、これは正規分布ではない。

事前分布として共役事前分布を用いる場合はさらに有用になる。共役事前分布はそれぞれ事後分布の計算が容易であり、従って混合分布の分布族も事前分布と同じ形となる(事前分布のパラメータがどう変化するかのみ知っておけばで良い)。超母数を固定した単一の事前分布を使用すると制限的過ぎることがある一方で、複数の共役事前分布の混合を使用することで、計算しやすい形式で望ましい分布を得ることができる場合がある。

超事前分布はハイパーパラメータ空間におけるハイパーパラメータの分布を記述する。共役事前分布を利用する場合、超事後分布のパラメータもまた超事前分布のハイパーパラメータ空間に存在する。データを受け取るたびに、確率分布は力学系のように時間発展する。すなわち、ハイパーパラメータ空間上の各点は、データを受け取るたびに、新しいハイパーパラメータを表す点に更新されていく。