最大事後確率

Summarize Timeline Top Qs Fact Check

${\displaystyle x}$ の観測に基づいて、未知の母集団パラメータ ${\displaystyle \theta }$ を推定したいとする。${\displaystyle x}$ の標本分布を ${\displaystyle f}$ とすると、母集団パラメータを ${\displaystyle \theta }$ としたときの ${\displaystyle x}$ の確率は ${\displaystyle f(x|\theta )}$ となる。すると

${\displaystyle \theta \mapsto f(x|\theta )\!}$

という関数は尤度関数であり、

${\displaystyle {\hat {\theta }}_{\mathrm {ML} }(x)=\mathop {\mathrm {arg~max} } _{\theta }f(x|\theta )\!}$

は ${\displaystyle \theta }$ の最尤推定である。

ここで、${\displaystyle \theta }$ の事前分布を ${\displaystyle g}$ とする。すると、${\displaystyle \theta }$ をベイズ推定における確率変数として扱える。${\displaystyle \theta }$ の事後確率は次のようになる。

${\displaystyle \theta \mapsto {\frac {f(x|\theta )\,g(\theta )}{\displaystyle \int _{\Theta }f(x|\theta ')\,g(\theta ')\,d\theta '}}\!}$

ここで ${\displaystyle g}$ は ${\displaystyle \theta }$ の密度関数、${\displaystyle \Theta }$ は ${\displaystyle g}$ の定義域である。これはベイズの定理の直接的な応用である。

最大事後確率推定の手法では、次に ${\displaystyle \theta }$ をこの確率変数の事後分布の最頻値として推定する。

${\displaystyle {\hat {\theta }}_{\mathrm {MAP} }(x)=\mathop {\mathrm {arg~max} } _{\theta }{\frac {f(x|\theta )\,g(\theta )}{\displaystyle \int _{\Theta }f(x|\theta ')\,g(\theta ')\,d\theta '}}=\mathop {\mathrm {arg~max} } _{\theta }f(x|\theta )\,g(\theta )\!}$

事後分布の分母は ${\displaystyle \theta }$ に依存していないので、最適化には何の役割も果たさない。${\displaystyle \theta }$ のMAP推定で事前分布 ${\displaystyle g}$ が一様分布の場合の結果は、最尤推定に一致する。MAP推定は、一様損失関数におけるベイズ推定関数である。

MAP推定の計算は解析的に解くか数値的に計算できる。

• 閉形式で事前分布の最頻値が与えられるとき、解析的に解ける。この場合、共役事前分布を使う。
• 数値的最適解を得るには
  • 汎用の最適化問題のアルゴリズムを使用する。例えば、勾配法（共役勾配法や準ニュートン法など）がある。勾配法の場合は導関数が必要で、それを解析的または数値的に計算する必要がある。
  • EMアルゴリズムを変形して用いる。この場合、事後分布の導関数は不要である。
  • マルコフ連鎖モンテカルロ法などのサンプリング法を使う。

Summarize Timeline Top Qs Fact Check

ある並び ${\displaystyle (x_{1},\dots ,x_{n})}$ の独立な確率変数 ${\displaystyle N(\mu ,\sigma _{v}^{2})}$ があり、${\displaystyle \mu }$ の事前分布は ${\displaystyle N(0,\sigma _{m}^{2})}$ で与えられるとする。ここで ${\displaystyle \mu }$ のMAP推定値を求める。

最大化すべき関数は次のようになる。

${\displaystyle \pi (\mu )L(\mu )={\frac {1}{{\sqrt {2\pi }}\sigma _{m}}}\exp \left(-{\frac {1}{2}}\left({\frac {\mu }{\sigma _{m}}}\right)^{2}\right)\prod _{j=1}^{n}{\frac {1}{{\sqrt {2\pi }}\sigma _{v}}}\exp \left(-{\frac {1}{2}}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\right)}$

これの対数を取る。

${\displaystyle {\begin{aligned}\log \pi (\mu )L(\mu )&=-\log {\sqrt {2\pi }}\sigma _{m}-{\frac {1}{2}}\left({\frac {\mu }{\sigma _{m}}}\right)^{2}-\log {\sqrt {2\pi }}\sigma _{v}-{\frac {1}{2}}\sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\\&=-{\frac {1}{2}}\left\{\left({\frac {\mu }{\sigma _{m}}}\right)^{2}+\sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\right\}-\log 2\pi \sigma _{m}\sigma _{v}\end{aligned}}}$

これは、${\displaystyle \mu }$ を動かし次の式を最小化することと等価である。

${\displaystyle \sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}+\left({\frac {\mu }{\sigma _{m}}}\right)^{2}}$

従って ${\displaystyle \mu }$ のMAP推定値は以下のようになる。

${\displaystyle {\hat {\mu }}_{\text{MAP}}={\frac {\sigma _{m}^{2}}{n\sigma _{m}^{2}+\sigma _{v}^{2}}}\sum _{j=1}^{n}x_{j}}$

${\displaystyle \sigma _{m}\to \infty }$ の場合を無情報事前分布（英: non-informative prior）と呼び、この例では ${\displaystyle {\hat {\mu }}_{\text{MAP}}\to {\hat {\mu }}_{\text{MLE}}={\frac {1}{n}}\sum _{j=1}^{n}x_{j}}$ である。

${\displaystyle \sigma _{m}<\infty }$ の場合は、${\displaystyle \mu }$ の事前分布の付与はL2正則化と同じ式になる。

• M. DeGroot, Optimal Statistical Decisions, McGraw-Hill, (1970).
• Harold W. Sorenson, (1980) "Parameter Estimation: Principles and Problems", Marcel Dekker.

• 最尤推定