ベイズ線形回帰

誤差分散が既知の場合

誤差分散 ${\displaystyle \sigma ^{2}}$ が既知で、回帰係数に正規事前分布

${\displaystyle {\boldsymbol {\beta }}\sim N({\boldsymbol {m}}_{0},\Sigma _{0})}$

を置くと、事後分布も多変量正規分布となる。事後共分散行列 ${\displaystyle \Sigma _{n}}$ と事後平均 ${\displaystyle {\boldsymbol {m}}_{n}}$ は

${\displaystyle \Sigma _{n}=\left(\Sigma _{0}^{-1}+{\frac {1}{\sigma ^{2}}}X^{\mathsf {T}}X\right)^{-1},}$

${\displaystyle {\boldsymbol {m}}_{n}=\Sigma _{n}\left(\Sigma _{0}^{-1}{\boldsymbol {m}}_{0}+{\frac {1}{\sigma ^{2}}}X^{\mathsf {T}}{\boldsymbol {y}}\right)}$

であり、

${\displaystyle {\boldsymbol {\beta }}\mid {\boldsymbol {y}},X,\sigma ^{2}\sim N({\boldsymbol {m}}_{n},\Sigma _{n})}$

となる^[3][4]。事後精度 ${\displaystyle \Sigma _{n}^{-1}}$ は、事前精度 ${\displaystyle \Sigma _{0}^{-1}}$ とデータが与える精度 ${\displaystyle X^{\mathsf {T}}X/\sigma ^{2}}$ の和になっている。

誤差分散が未知の場合

誤差分散も未知の場合、代表的な共役事前分布は

${\displaystyle {\boldsymbol {\beta }}\mid \sigma ^{2}\sim N({\boldsymbol {m}}_{0},\sigma ^{2}V_{0}),\qquad \sigma ^{2}\sim \operatorname {IG} (a_{0},b_{0})}$

である。ここでは逆ガンマ分布を

${\displaystyle p(\sigma ^{2})\propto (\sigma ^{2})^{-(a_{0}+1)}\exp \left(-{\frac {b_{0}}{\sigma ^{2}}}\right)}$

と母数化する。この同時分布は正規逆ガンマ分布と呼ばれる。精度 ${\displaystyle \tau =1/\sigma ^{2}}$ を用いれば、同じ共役構造を正規ガンマ分布で表せる^[3]。

事後ハイパーパラメータを

${\displaystyle V_{n}=(V_{0}^{-1}+X^{\mathsf {T}}X)^{-1},}$

${\displaystyle {\boldsymbol {m}}_{n}=V_{n}(V_{0}^{-1}{\boldsymbol {m}}_{0}+X^{\mathsf {T}}{\boldsymbol {y}}),}$

${\displaystyle a_{n}=a_{0}+{\frac {n}{2}},}$

${\displaystyle b_{n}=b_{0}+{\frac {1}{2}}\left({\boldsymbol {y}}^{\mathsf {T}}{\boldsymbol {y}}+{\boldsymbol {m}}_{0}^{\mathsf {T}}V_{0}^{-1}{\boldsymbol {m}}_{0}-{\boldsymbol {m}}_{n}^{\mathsf {T}}V_{n}^{-1}{\boldsymbol {m}}_{n}\right)}$

とすると、

${\displaystyle {\boldsymbol {\beta }}\mid \sigma ^{2},{\boldsymbol {y}},X\sim N({\boldsymbol {m}}_{n},\sigma ^{2}V_{n}),\qquad \sigma ^{2}\mid {\boldsymbol {y}},X\sim \operatorname {IG} (a_{n},b_{n})}$

となる。${\displaystyle \sigma ^{2}}$ を積分消去した回帰係数の周辺事後分布は、自由度 ${\displaystyle 2a_{n}}$ の多変量t分布（英語版）である^[3]。

広く用いられる無情報事前分布の一つは

${\displaystyle p({\boldsymbol {\beta }},\sigma ^{2})\propto {\frac {1}{\sigma ^{2}}}}$

である。この事前分布は非正規化事前分布であるため、事後分布が正規化可能かを確認する必要がある。設計行列の階数が ${\displaystyle p}$ であり、${\displaystyle n>p}$ ならば事後分布は正規化可能となる^[2]。