正規ガンマ分布

${\displaystyle \mu _{0}\in \mathbb {R} }$、${\displaystyle \lambda >0}$、${\displaystyle \alpha >0}$、${\displaystyle \beta >0}$ とする。確率変数の組 ${\displaystyle (\mu ,\tau )}$ が正規ガンマ分布に従うとは、

${\displaystyle \tau \sim \operatorname {Gamma} (\alpha ,\beta ),}$

${\displaystyle \mu \mid \tau \sim N\left(\mu _{0},{\frac {1}{\lambda \tau }}\right)}$

が成り立つことをいう^[1]。これを

${\displaystyle (\mu ,\tau )\sim \operatorname {NormalGamma} (\mu _{0},\lambda ,\alpha ,\beta )}$

と表す。

本項では、ガンマ分布を形状母数 ${\displaystyle \alpha }$ と率母数 ${\displaystyle \beta }$ によって母数化し、その確率密度関数を

${\displaystyle p(\tau )={\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\tau ^{\alpha -1}e^{-\beta \tau },\qquad \tau >0}$

とする。率母数の代わりに尺度母数 ${\displaystyle 1/\beta }$ を用いる文献もあるため、母数化の違いに注意が必要である。

同時確率密度関数は

${\displaystyle p(\mu ,\tau )=p(\mu \mid \tau )p(\tau )}$

より、

${\displaystyle {\begin{aligned}p(\mu ,\tau )&={\sqrt {\frac {\lambda \tau }{2\pi }}}\,\exp \left[-{\frac {\lambda \tau }{2}}(\mu -\mu _{0})^{2}\right]{\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}\tau ^{\alpha -1}e^{-\beta \tau }\\&={\frac {\beta ^{\alpha }{\sqrt {\lambda }}}{\Gamma (\alpha ){\sqrt {2\pi }}}}\,\tau ^{\alpha -{\frac {1}{2}}}\exp \left[-\tau \left\{\beta +{\frac {\lambda }{2}}(\mu -\mu _{0})^{2}\right\}\right],\qquad \mu \in \mathbb {R} ,\quad \tau >0\end{aligned}}}$

となる^[1]。

精度 ${\displaystyle \tau }$ が大きくなると、条件付き分布 ${\displaystyle \mu \mid \tau }$ の分散 ${\displaystyle 1/(\lambda \tau )}$ は小さくなる。このため、${\displaystyle \mu }$ と ${\displaystyle \tau }$ は一般に独立ではない。

期待値は

${\displaystyle \operatorname {E} [\mu ]=\mu _{0},\qquad \operatorname {E} [\tau ]={\frac {\alpha }{\beta }}}$

である。${\displaystyle \alpha >1}$ のとき、

${\displaystyle \operatorname {Var} (\mu )={\frac {\beta }{\lambda (\alpha -1)}}}$

となる。また、

${\displaystyle \operatorname {Var} (\tau )={\frac {\alpha }{\beta ^{2}}}}$

である。

さらに、

${\displaystyle \operatorname {Cov} (\mu ,\tau )=0}$

が成り立つ。これは

${\displaystyle \operatorname {E} [\mu \mid \tau ]=\mu _{0}}$

が ${\displaystyle \tau }$ に依存しないためである。ただし、条件付き分散は ${\displaystyle \tau }$ に依存するので、共分散が0であっても両者は独立ではない。

独立な観測値 ${\displaystyle x_{1},\ldots ,x_{n}}$ が

${\displaystyle x_{i}\mid \mu ,\tau \sim N\left(\mu ,{\frac {1}{\tau }}\right),\qquad i=1,\ldots ,n}$

に従うとする。事前分布として

${\displaystyle (\mu ,\tau )\sim \operatorname {NormalGamma} (\mu _{0},\lambda _{0},\alpha _{0},\beta _{0})}$

を置くと、事後分布も正規ガンマ分布となる^[1][2]。

標本平均を

${\displaystyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$

とすると、事後分布のハイパーパラメータは

${\displaystyle \lambda _{n}=\lambda _{0}+n,}$

${\displaystyle \mu _{n}={\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}},}$

${\displaystyle \alpha _{n}=\alpha _{0}+{\frac {n}{2}},}$

${\displaystyle \beta _{n}=\beta _{0}+{\frac {1}{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}+{\frac {\lambda _{0}n}{2(\lambda _{0}+n)}}({\bar {x}}-\mu _{0})^{2}}$

であり、

${\displaystyle (\mu ,\tau )\mid x_{1},\ldots ,x_{n}\sim \operatorname {NormalGamma} (\mu _{n},\lambda _{n},\alpha _{n},\beta _{n})}$

となる。

${\displaystyle \mu _{n}}$ は、事前分布の位置母数 ${\displaystyle \mu _{0}}$ と標本平均 ${\displaystyle {\bar {x}}}$ の加重平均である。

分散を

${\displaystyle \sigma ^{2}={\frac {1}{\tau }}}$

とすると、${\displaystyle (\mu ,\sigma ^{2})}$ は 正規逆ガンマ分布 に従う。すなわち、正規ガンマ分布と正規逆ガンマ分布は、同じ共役構造をそれぞれ精度と分散によって表したものである。

具体的には、

${\displaystyle \tau \sim \operatorname {Gamma} (\alpha ,\beta )}$

ならば、

${\displaystyle \sigma ^{2}=\tau ^{-1}\sim \operatorname {InvGamma} (\alpha ,\beta )}$

であり、

${\displaystyle \mu \mid \sigma ^{2}\sim N\left(\mu _{0},{\frac {\sigma ^{2}}{\lambda }}\right)}$

となる^[2][3]。

平均をベクトルへ拡張し、回帰係数ベクトルを ${\displaystyle {\boldsymbol {\theta }}}$ とすると、

${\displaystyle {\boldsymbol {\theta }}\mid \tau \sim N\left({\boldsymbol {m}}_{0},(\tau \Lambda _{0})^{-1}\right),\qquad \tau \sim \operatorname {Gamma} (\alpha _{0},\beta _{0})}$

という共役事前分布を構成できる。この形は、誤差精度が未知の ベイズ線形回帰 などで用いられる^[2]。

正規ガンマ分布から乱数を生成するには、まず

${\displaystyle \tau \sim \operatorname {Gamma} (\alpha ,\beta )}$

を生成し、得られた ${\displaystyle \tau }$ に対して

${\displaystyle \mu \sim N\left(\mu _{0},{\frac {1}{\lambda \tau }}\right)}$

を生成する。