スチューデント化残差

回帰分析
統計学

モデル
線形回帰線形単回帰（英語版）多項式回帰一般線形モデル
一般化線形モデル離散選択（英語版）ロジスティック回帰多項ロジット（英語版）混合ロジット（英語版）プロビット（英語版）多項プロビット（英語版）順序ロジット（英語版）順序プロビット（英語版）ポアソン（英語版）
多水準モデル（英語版）固定効果（英語版）変量効果混合モデル
非線形回帰ノンパラメトリック（英語版）セミパラメトリック（英語版）ロバスト（英語版）分位点（英語版）等調（英語版）主成分（英語版）最小角度（英語版）局所折れ線（英語版）
変数誤差（英語版）
推定
最小二乗法線形（英語版）非線形
普通（英語版）加重（英語版）一般化（英語版）
部分総最小二乗法（英語版）非負（英語版）リッジ回帰正則化（英語版）
最小絶対偏差（英語版）繰返し加重（英語版）ベイズ（英語版）ベイズ多変量（英語版）
背景
回帰検証（英語版）平均応答と予測応答（英語版）誤差と残差適合度（英語版）スチューデント化残差ガウス＝マルコフの定理
表話編歴

スチューデント化残差（スチューデントかざんさ、英: studentized residual）とは、統計学において、残差をその標準偏差の推定量で割って補正したものである。スチューデント化は「外れ値」の検出にあたり重要な技法である。

「スチューデント化」の名称はウィリアム・ゴセットの筆名「スチューデント」にちなむ。

誤差と残差の違いを理解することは非常に重要である。簡単な線形回帰モデル

$Y_{i}=\alpha _{0}+\alpha _{1}x_{i}+\varepsilon _{i},$

を考えよう。ここで「誤差」 ε_i , i = 1, ... , n は統計的に独立ですべて同じ分散 σ² をもつものとする。

残差は真でなく観測もできない誤差ではなく、観測可能なデータに基く誤差の推定値である。最小二乗法で α₀ と α₁を推定したとき、（誤差と異なり）残差は、独立ではありえない。なぜなら残差は以下の 2 つの拘束条件を満たすからである。

$\sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}=0,\qquad \sum _{i=1}^{n}{\widehat {\varepsilon }}_{i}x_{i}=0$

ここで $\varepsilon _{i}$ は i 番目の誤差、 ${\widehat {\varepsilon }}_{i}$ は i 番目の残差を表す。

さらに、誤差と異なり残差は、同じ分散を持たない。分散は対応する x-値が x-値の平均から遠ざかるにつれ減少する。これは回帰分析の予測値が、説明変数の分布する領域の端の方であるほどより影響を受けることと、データの回帰係数に及ぼす影響力が高いほど変わりやすいということによるものである。これは説明変数の分布の端の方のデータにおける残差はまた傾きの推定値によって大きく影響を受けるが、説明変数の分布の平均辺りのデータにおける残差は傾きによる影響をあまり受けないということによっても確認できる。真の誤差の分散がすべて等しいにもかかわらず残差の分散が異なるという事実は、スチューデント化が必要な主要な理由である。これは単に母集団パラメータ（平均と標準偏差）が未知であるという問題ではなく、一変量分布についての点推定のように同じ残差分布をデータが共有するのとは異なり、回帰分析するということが異なるデータポイントに対して異なる残差分布を生み出してしまうということである。

スチューデント化の手順

この簡単なモデルでは、計画行列は

$X=\left[{\begin{matrix}1&x_{1}\\\vdots &\vdots \\1&x_{n}\end{matrix}}\right]$

であり、「ハット行列」(hat matrix) H は計画行列の列空間への直交射影である。

$H=X(X^{T}X)^{-1}X^{T}.$

「てこ値」（てこち、leverage、レバレッジ）h_ii　はハット行列の第 i 対角要素である。i 番目の残差の分散は

${\mbox{var}}({\widehat {\varepsilon }}_{i})=\sigma ^{2}(1-h_{ii})$

で、対応する「スチューデント化残差」は

${{\widehat {\varepsilon }}_{i} \over {\widehat {\sigma }}{\sqrt {1-h_{ii}\ }}}$

である。ここで ${\widehat {\sigma }}$ は適当な σ の推定量である。

内部スチューデント化と外部スチューデント化

σ² の推定量は

${\widehat {\sigma }}^{2}={1 \over n-m}\sum _{j=1}^{n}{\widehat {\varepsilon }}_{j}^{2}$

で表される。ここで m はモデルの母数の個数 (この例では 2)である。

i 番のデータが「外れ値」かどうかを検討する時には、i番の観測を分散の推定には用いないことが望ましい。結局、以下の推定量が用いられる。

${\widehat {\sigma }}_{(i)}^{2}={1 \over n-m-1}\sum _{\begin{smallmatrix}j=1\\j\neq i\end{smallmatrix}}^{n}{\widehat {\varepsilon }}_{j}^{2},$

ここで総和記号Σは i 番の観測を除くすべての観測に基づく和である。後者の推定量を用いる場合、i 番の観測は「除外された」ので、「外部スチューデント化残差」 (externally studentized residual)または「削除後スチューデント残差」 (deleted studentized residual) という。前者を用いる場合、i 番の観測を「含んだ」ので、「内部スチューデント化残差」 (internally studentized residual) という。

誤差が独立で、期待値 0 で分散 σ² の正規分布に従う場合、i 番の外部スチューデント化残差の確率分布はスチューデントのt分布となる。その自由度は n − m − 1 であり、値域は (-∞, +∞) である。

一方、内部スチューデント化残差の値域は $0\pm {\sqrt {\mathrm {r.d.f.} }}$ である。ここで自由度は残差の自由度すなわち n − m である。"i.s.r" で内部スチューデント化残差を表し、誤差は独立同一正規分布 (independent identically distributed Gaussian) 変数と仮定すると、

$\mathrm {i.s.r.} ^{2}=\mathrm {r.d.f.} {t^{2} \over t^{2}+\mathrm {r.d.f.} -1}$

ここで t はt分布でその自由度は r.d.f. − 1 である。実は、上式は i.s.r.²/r.d.f. がベータ分布に従うことを示す。r.d.f. = 3 のとき、内部スチューデント化残差は $-{\sqrt {3}}$ and $+{\sqrt {3}}$ で一様分布する。

自由度が 1 しかない場合、内部スチューデント化残差を表す上式は適用できない。この場合、内部スチューデント化残差は +1 か -1 のどちらかにそれぞれ 50 パーセントの確率で分布する。

スチューデント化残差

スチューデント化の手順

内部スチューデント化と外部スチューデント化

参考文献

関連項目

Related Articles