除外変数バイアス

Summarize Timeline Top Qs Fact Check

真の因果関係が次の式で与えられると仮定する。

${\displaystyle y=a+bx+cz+u}$

ここで、${\displaystyle a,b,c}$ はパラメータ、${\displaystyle y}$ は従属変数、${\displaystyle x,z}$ は独立変数、${\displaystyle u}$ は誤差項であり、${\displaystyle x}$ が ${\displaystyle y}$ に与える影響（${\displaystyle b}$ の推定値）を検討する。

除外変数バイアスが線形回帰に存在するには、2つの条件が当てはまる必要がある。

• 除外変数は、従属変数の決定要因である、すなわち真の回帰係数が非ゼロ
• 除外変数は、独立変数と相関している、すなわち ${\displaystyle \mathrm {cov} (z,x)}$ が非ゼロ）

回帰から ${\displaystyle z}$ を省略し、${\displaystyle x}$ と ${\displaystyle z}$ の関係が次のようになるとする。

${\displaystyle z=d+fx+e}$

ここで、${\displaystyle d,f}$ はパラメータ、${\displaystyle e}$ は誤差項である。

2番目の方程式を最初の方程式に代入すると、

${\displaystyle y=(a+cd)+(b+cf)x+(u+ce)}$

${\displaystyle y}$ を ${\displaystyle x}$ のみで回帰する場合、この最後の方程式が推定され、${\displaystyle x}$ の回帰係数は実際には ${\displaystyle b+cf}$ の推定値ということになる。${\displaystyle x}$ の ${\displaystyle y}$ への直接効果 ${\displaystyle b}$ ではなく、間接効果（${\displaystyle x}$ の ${\displaystyle z}$ への効果 ${\displaystyle f}$ と ${\displaystyle z}$ の ${\displaystyle y}$ への効果 ${\displaystyle c}$ との積）との和になる。したがって、回帰から変数 ${\displaystyle z}$ を省略することにより、 偏微分ではなく全微分を推定したことになる。${\displaystyle c}$ も ${\displaystyle f}$ も非ゼロであれば、両者は異なる。

バイアスの向きは ${\displaystyle cf}$ の正負、バイアスの大きさは ${\displaystyle cf}$ の絶対値によって求められる。

例として、次の形式の線形モデルを考える。

${\displaystyle y_{i}=\mathbf {x} _{i}^{\top }{\boldsymbol {\beta }}+z_{i}\delta +u_{i},\quad i=1,\cdots ,n}$

ここで、

• 列ベクトル ${\displaystyle \mathbf {x} _{i}}$ は時刻 ${\displaystyle i}$ ないし被験者 ${\displaystyle i}$ で観測された ${\displaystyle p}$ 個の独立変数の値
• 列ベクトル ${\displaystyle {\boldsymbol {\beta }}}$ は推定すべき観測不可能な ${\displaystyle p}$ 個のパラメータ（${\displaystyle \mathbf {x} _{i}}$ の各独立変数の応答係数）
• スカラー ${\displaystyle z_{i}}$ は時刻 ${\displaystyle i}$ ないし被験者 ${\displaystyle i}$ で観測されたもう一つの独立変数の値
• スカラー ${\displaystyle \delta }$ は推定すべき観測不可能なパラメータ（${\displaystyle z_{i}}$ の応答係数）
• ${\displaystyle u_{i}}$は時刻 ${\displaystyle i}$ ないし被験者 ${\displaystyle i}$ に対応する観測不能である誤差項であり、${\displaystyle \mathbf {x} _{i}}$ および ${\displaystyle z_{i}}$ を条件として期待値 0 の確率変数の観測不可能な実現値。
• ${\displaystyle y_{i}}$ は時刻 ${\displaystyle i}$ ないし被験者 ${\displaystyle i}$ で観測された従属変数

${\displaystyle i=1,\cdots ,n}$ と添え字のついた全ての変数の観測値を集め、それらを積み重ねて、行列 X とベクトル y、z、u を得る。

${\displaystyle \mathbf {X} =\left[{\begin{array}{c}\mathbf {x} _{1}^{\top }\\\vdots \\\mathbf {x} _{n}^{\top }\end{array}}\right]\in \mathbb {R} ^{n\times p}}$

と

${\displaystyle \mathbf {y} =\left[{\begin{array}{c}y_{1}\\\vdots \\y_{n}\end{array}}\right],\quad \mathbf {z} =\left[{\begin{array}{c}z_{1}\\\vdots \\z_{n}\end{array}}\right],\quad \mathbf {u} =\left[{\begin{array}{c}u_{1}\\\vdots \\u_{n}\end{array}}\right]\in \mathbb {R} ^{n\times 1}}$

独立変数 z が回帰から省略されている場合、他の独立変数の応答係数の推定値は、通常の最小二乗計算によって与えられる。

${\displaystyle {\widehat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} }$

ここで、${\displaystyle \top }$ 記号は行列の転置を意味し、-1の上付き文字は逆行列を表す。

仮定された線形モデルに基づいて y を代入すると、

${\displaystyle {\begin{aligned}{\widehat {\boldsymbol {\beta }}}&=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }(\mathbf {X} {\boldsymbol {\beta }}+\mathbf {z} \delta +\mathbf {u} )\\&=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {X} {\boldsymbol {\beta }}+(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {z} \delta +(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {u} \\&={\boldsymbol {\beta }}+(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {z} \delta +(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {u} \end{aligned}}}$

${\displaystyle \mathbf {u} }$ は ${\displaystyle \mathbf {X} }$ とは相関しないので、期待最終項は期待値には影響しない。残りの項を整理すると

${\displaystyle {\begin{aligned}\mathbb {E} \left({\widehat {\boldsymbol {\beta }}}\mid \mathbf {X} \right)&={\boldsymbol {\beta }}+(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbb {E} \left(\mathbf {X} ^{\top }\mathbf {z} \mid \mathbf {X} \right)\delta \\&={\boldsymbol {\beta }}+{\text{bias}}\end{aligned}}}$

右辺第2項が除外変数バイアスであり、除外変数 z が行列 X に含まれる変数のいずれかと相関している場合（${\displaystyle \mathbf {X} ^{\top }\mathbf {z} \neq \mathbf {0} }$ の場合）非ゼロである。