一般化線形モデル

確率変数 ${\displaystyle Y}$ が指数型分布族である、つまり確率密度関数 ${\displaystyle f(y)}$ は正準 (canonical) パラメーター ${\displaystyle \theta }$, 分散 (dispersion) パラメーター ${\displaystyle \phi }$ とスカラー関数 ${\displaystyle a(\theta )}$, ${\displaystyle c(y,\,\theta )}$ を用いて指数型

で表すことができるものとする。

一般化線形モデルでは、指数型分布族の正準パラメーター ${\displaystyle \theta }$ について滑らかであるリンク関数 (link function) と呼ばれる関数 ${\displaystyle g(\theta )}$ が、別の確率変数 ${\displaystyle \mathbf {X} }$ の実現値 ${\displaystyle \mathbf {x} }$ を用いて、${\displaystyle g(\theta )=\mathbf {x} ^{T}\,{\boldsymbol {\beta }}}$ と表せるものとする。

一般化線型モデルは下記の3つの要素から構成される。

1. 指数型分布族の確率分布

2. 線形予測子 (linear predictor) ${\displaystyle \eta =\mathbf {x} ^{T}{\boldsymbol {\beta }}}$

3. リンク関数 (link function) ${\displaystyle g}$ such that ${\displaystyle g(\theta )=\eta }$

Summarize Timeline Fact Check

下記のように尤度関数を定める。

このとき、下記等式が成立する。

この等式を用いて計算すると、確率変数 ${\displaystyle Y}$ の平均は ${\displaystyle a'(\theta )}$、分散は ${\displaystyle \phi \,a''(\theta )}$ であることが分かる。

下記の他、多くの確率分布が指数分布族に分類される。

• 正規分布
• ベルヌーイ分布
• ポアソン分布
• 二項分布
• ガウス分布

Summarize Timeline Top Qs Fact Check

既知の値 ${\displaystyle \sigma ^{2}}$ を用いて ${\displaystyle a(\theta )=\theta ^{2}/2}$, ${\displaystyle \phi =\sigma ^{2}}$, ${\displaystyle c(y,\,\phi )=-\left(y^{2}/\sigma ^{2}+\log {2\pi \sigma ^{2}}\right)/2}$ と表されるとき、${\displaystyle f(y;\theta )={\frac {1}{{\sqrt {2\pi }}\sigma }}\exp {\left(-{\frac {(y-\theta )^{2}}{2\sigma ^{2}}}\right)}}$ は平均 ${\displaystyle \theta }$, 分散 ${\displaystyle \sigma ^{2}}$ の正規分布に相当する。

リンク関数として ${\displaystyle g(\theta )=\theta }$ (正準リンク<canonical link>とよぶ) を取るとき、これは、正規線型モデル (通常の線型回帰) に相当する。平均 ${\displaystyle \theta }$ は ${\displaystyle \mathbf {x} ^{T}\,{\boldsymbol {\beta }}}$ で与えられる。

${\displaystyle p=e^{\theta }/(1+e^{\theta })}$ を用いて ${\displaystyle a(\theta )=-\log {(1-p)}}$, ${\displaystyle \phi =1}$, ${\displaystyle c=0}$ と表されるとき、${\displaystyle f(y;\theta )=p^{y}(1-p)^{1-y}}$ は生起確率 ${\displaystyle p}$ のベルヌーイ分布に相当する。

リンク関数として ${\displaystyle g(\theta )=\theta }$ を取るとき、これはロジスティック回帰モデル (logistic regression model) に相当する。${\displaystyle Y=1,0}$ の確率は、それぞれ、

で与えられる。

リンク関数として ${\displaystyle g(\theta )=\psi ^{-1}(p)}$ (ただし、${\displaystyle \psi }$ は標準正規分布の累積分布関数) を取るとき、これはプロビット回帰モデルに相当する。${\displaystyle p=\psi (\mathbf {x} ^{T}\,{\boldsymbol {\beta }})}$となる。

パラメーターの決定には、ニュートン法を用いた最尤法などがある。