正規逆ガンマ分布

Summarize Timeline Top Qs Fact Check

逆ガンマ分布には複数の母数化がある。本項では形状母数を ${\displaystyle \alpha }$、尺度母数を ${\displaystyle \beta }$ とし、その確率密度関数を

${\displaystyle p(\sigma ^{2}\mid \alpha ,\beta )={\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}(\sigma ^{2})^{-\alpha -1}\exp \left(-{\frac {\beta }{\sigma ^{2}}}\right),\qquad \sigma ^{2}>0}$

とする^[3]。

確率変数 ${\displaystyle \sigma ^{2}}$ と ${\displaystyle \mu }$ が

${\displaystyle \sigma ^{2}\sim \operatorname {InvGamma} (\alpha ,\beta ),}$

${\displaystyle \mu \mid \sigma ^{2}\sim N\left(\mu _{0},{\frac {\sigma ^{2}}{\lambda }}\right)}$

を満たすとき、確率変数の組 ${\displaystyle (\mu ,\sigma ^{2})}$ は 母数 ${\displaystyle (\mu _{0},\lambda ,\alpha ,\beta )}$ の正規逆ガンマ分布に従うといい、

${\displaystyle (\mu ,\sigma ^{2})\sim \operatorname {NIG} (\mu _{0},\lambda ,\alpha ,\beta )}$

と表す。ここで

${\displaystyle \mu _{0}\in \mathbb {R} ,\qquad \lambda >0,\qquad \alpha >0,\qquad \beta >0}$

である^[1]。

同時確率密度関数は

${\displaystyle {\begin{aligned}p(\mu ,\sigma ^{2})&=p(\mu \mid \sigma ^{2})p(\sigma ^{2})\\&={\frac {{\sqrt {\lambda }}\,\beta ^{\alpha }}{{\sqrt {2\pi }}\,\Gamma (\alpha )}}(\sigma ^{2})^{-\left(\alpha +{\frac {3}{2}}\right)}\exp \left[-{\frac {2\beta +\lambda (\mu -\mu _{0})^{2}}{2\sigma ^{2}}}\right]\end{aligned}}}$

となる。

${\displaystyle \mu _{0}}$ は正規成分の中心を定める。 ${\displaystyle \lambda }$ が大きいほど、同じ ${\displaystyle \sigma ^{2}}$ のもとで ${\displaystyle \mu }$ は ${\displaystyle \mu _{0}}$の近くに集中する。 ${\displaystyle \alpha }$ と ${\displaystyle \beta }$ は ${\displaystyle \sigma ^{2}}$ の逆ガンマ分布を定める。

Summarize Timeline Top Qs Fact Check

定義から、分散の周辺分布は

${\displaystyle \sigma ^{2}\sim \operatorname {InvGamma} (\alpha ,\beta )}$

であり、分散を与えたときの条件付き分布は

${\displaystyle \mu \mid \sigma ^{2}\sim N\left(\mu _{0},{\frac {\sigma ^{2}}{\lambda }}\right)}$

である。

${\displaystyle \sigma ^{2}}$ を積分して消去すると、 ${\displaystyle \mu }$ の周辺確率密度関数は

${\displaystyle p(\mu )={\frac {\Gamma \left(\alpha +{\frac {1}{2}}\right)}{\Gamma (\alpha )}}{\sqrt {\frac {\lambda }{2\pi \beta }}}\left[1+{\frac {\lambda (\mu -\mu _{0})^{2}}{2\beta }}\right]^{-\left(\alpha +{\frac {1}{2}}\right)}}$

となる。これは自由度 ${\displaystyle 2\alpha }$、位置母数 ${\displaystyle \mu _{0}}$、尺度の二乗 ${\displaystyle \beta /(\lambda \alpha )}$ のt分布であり、

${\displaystyle \mu \sim t_{2\alpha }\left(\mu _{0},{\frac {\beta }{\lambda \alpha }}\right)}$

と表せる。ここでは ${\displaystyle t_{\nu }(m,\tau ^{2})}$ を、自由度 ${\displaystyle \nu }$、位置母数 ${\displaystyle m}$、尺度の二乗 ${\displaystyle \tau ^{2}}$ のt分布とする^[4]。

また、同時密度を ${\displaystyle \sigma ^{2}}$ について整理すると、

${\displaystyle \sigma ^{2}\mid \mu \sim \operatorname {InvGamma} \left(\alpha +{\frac {1}{2}},\,\beta +{\frac {\lambda (\mu -\mu _{0})^{2}}{2}}\right)}$

が得られる。

${\displaystyle \mu }$ の条件付き分散が ${\displaystyle \sigma ^{2}}$ に依存するため、 ${\displaystyle \mu }$ と ${\displaystyle \sigma ^{2}}$ は一般には独立ではない。

Summarize Timeline Fact Check

${\displaystyle \mu }$ の期待値は ${\displaystyle \alpha >1/2}$ のときに存在し、

${\displaystyle \operatorname {E} [\mu ]=\mu _{0}}$

である。分散は ${\displaystyle \alpha >1}$ のときに存在し、

${\displaystyle \operatorname {Var} (\mu )={\frac {\beta }{\lambda (\alpha -1)}}}$

となる。

${\displaystyle \sigma ^{2}}$ については、${\displaystyle \alpha >1}$ のとき

${\displaystyle \operatorname {E} [\sigma ^{2}]={\frac {\beta }{\alpha -1}},}$

${\displaystyle \alpha >2}$ のとき

${\displaystyle \operatorname {Var} (\sigma ^{2})={\frac {\beta ^{2}}{(\alpha -1)^{2}(\alpha -2)}}}$

である^[3]。

同時確率密度関数の最頻点は

${\displaystyle \left(\mu _{0},{\frac {\beta }{\alpha +3/2}}\right)}$

である。

Summarize Timeline Top Qs Fact Check

正規モデル

観測値 ${\displaystyle Y_{1},\ldots ,Y_{n}}$ が、平均 ${\displaystyle \mu }$、分散 ${\displaystyle \sigma ^{2}}$ の正規分布から 条件付き独立に得られるとする。

${\displaystyle Y_{i}\mid \mu ,\sigma ^{2}\mathrel {\overset {\mathrm {iid} }{\sim }} N(\mu ,\sigma ^{2}).}$

平均と分散の事前分布として

${\displaystyle (\mu ,\sigma ^{2})\sim \operatorname {NIG} (\mu _{0},\lambda _{0},\alpha _{0},\beta _{0})}$

を置くことは、

${\displaystyle \sigma ^{2}\sim \operatorname {InvGamma} (\alpha _{0},\beta _{0}),\qquad \mu \mid \sigma ^{2}\sim N\left(\mu _{0},{\frac {\sigma ^{2}}{\lambda _{0}}}\right)}$

と置くことに等しい。

標本平均と平均まわりの平方和を

${\displaystyle {\bar {y}}={\frac {1}{n}}\sum _{i=1}^{n}y_{i},\qquad Q=\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}$

とする。このとき、事後分布も正規逆ガンマ分布となり、

${\displaystyle (\mu ,\sigma ^{2})\mid y_{1},\ldots ,y_{n}\sim \operatorname {NIG} (\mu _{n},\lambda _{n},\alpha _{n},\beta _{n})}$

である。更新後のハイパーパラメータは

${\displaystyle \lambda _{n}=\lambda _{0}+n,}$

${\displaystyle \mu _{n}={\frac {\lambda _{0}\mu _{0}+n{\bar {y}}}{\lambda _{0}+n}},}$

${\displaystyle \alpha _{n}=\alpha _{0}+{\frac {n}{2}},}$

${\displaystyle \beta _{n}=\beta _{0}+{\frac {1}{2}}Q+{\frac {\lambda _{0}n}{2(\lambda _{0}+n)}}({\bar {y}}-\mu _{0})^{2}}$

となる^[1][2]。

${\displaystyle \mu _{n}}$ は、事前分布の位置母数 ${\displaystyle \mu _{0}}$ と標本平均 ${\displaystyle {\bar {y}}}$ の加重平均である。 ${\displaystyle \lambda _{0}}$ は、平均に関する事前情報の強さを表し、 事前の観測数に相当する量として解釈できる。

正規・逆カイ二乗分布による母数化では、

${\displaystyle \nu _{0}=2\alpha _{0},\qquad \sigma _{0}^{2}={\frac {\beta _{0}}{\alpha _{0}}}}$

と対応する。この表現では ${\displaystyle \nu _{0}}$ が分散に関する事前の自由度、 ${\displaystyle \sigma _{0}^{2}}$ が事前の尺度を表し、

${\displaystyle \nu _{0}\sigma _{0}^{2}=2\beta _{0}}$

が事前の平方和に相当する^[5]。

周辺事後分布と事後予測分布

分散を積分して消去すると、平均の周辺事後分布は

${\displaystyle \mu \mid y_{1},\ldots ,y_{n}\sim t_{2\alpha _{n}}\left(\mu _{n},{\frac {\beta _{n}}{\lambda _{n}\alpha _{n}}}\right)}$

となる。

同じ正規モデルから得られる将来の観測値を ${\displaystyle {\widetilde {Y}}}$ とすると、その事後予測分布は

${\displaystyle {\widetilde {Y}}\mid y_{1},\ldots ,y_{n}\sim t_{2\alpha _{n}}\left(\mu _{n},\,{\frac {\beta _{n}(\lambda _{n}+1)}{\alpha _{n}\lambda _{n}}}\right)}$

である^[6]。

ベイズ線形回帰

ベイズ線形回帰でも同じ共役構造が用いられる。回帰係数ベクトルを ${\displaystyle {\boldsymbol {\theta }}}$、誤差分散を ${\displaystyle \sigma ^{2}}$ とすると、代表的な事前分布は

${\displaystyle {\boldsymbol {\theta }}\mid \sigma ^{2}\sim N\left({\boldsymbol {m}}_{0},\,\sigma ^{2}V_{0}\right),\qquad \sigma ^{2}\sim \operatorname {InvGamma} (\alpha _{0},\beta _{0})}$

である。正規線形モデルのもとでは、事後分布も条件付き多変量正規分布と逆ガンマ分布の組合せとなる^[6]。

正規ガンマ分布

${\displaystyle (\mu ,\sigma ^{2})}$ が正規逆ガンマ分布に従うとき、

${\displaystyle \tau ={\frac {1}{\sigma ^{2}}}}$

とおけば、

${\displaystyle \tau \sim \operatorname {Gamma} (\alpha ,\beta ),\qquad \mu \mid \tau \sim N\left(\mu _{0},{\frac {1}{\lambda \tau }}\right)}$

となり、${\displaystyle (\mu ,\tau )}$ は正規ガンマ分布に従う。 したがって、正規ガンマ分布と正規逆ガンマ分布は、同じ共役構造を それぞれ精度と分散によって表したものである^[7][4]。

正規・逆カイ二乗分布

尺度付き逆カイ二乗分布（英語版）を用いて同じ分布を表すこともできる。母数を

${\displaystyle \alpha ={\frac {\nu }{2}},\qquad \beta ={\frac {\nu \sigma _{0}^{2}}{2}},\qquad \lambda =\kappa }$

と置けば、正規逆ガンマ分布は正規・逆カイ二乗分布と同じ分布になる^[1][5]。

正規逆ウィシャート分布

平均ベクトルと共分散行列がともに未知の多変量正規分布では、 逆ウィシャート分布（英語版）を用いた 正規逆ウィシャート分布（英語版） が共役事前分布となる。正規逆ガンマ分布はその1次元の場合に相当する^[5]。

正規逆ガンマ分布に従う乱数は、条件付き分布による定義を利用して生成できる。

1. ${\displaystyle \sigma ^{2}\sim \operatorname {InvGamma} (\alpha ,\beta )}$ を生成する。
2. 得られた ${\displaystyle \sigma ^{2}}$ に対し、${\displaystyle \mu \sim N(\mu _{0},\sigma ^{2}/\lambda )}$ を生成する。

この2段階で得られた組 ${\displaystyle (\mu ,\sigma ^{2})}$ は、 母数 ${\displaystyle (\mu _{0},\lambda ,\alpha ,\beta )}$ の正規逆ガンマ分布に従う^[1]。