標本平均・標本共分散

標本平均とは、標本に含まれるある変数の値の平均値であり、それらの値の合計を値の個数で割ったものである。数式で表せば、母集団から変数 ${\displaystyle X}$ の観測値 ${\displaystyle N}$ 個の標本が抽出された場合、標本平均 ${\displaystyle {\bar {X}}}$ は次のように表される:

${\displaystyle {\bar {X}}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$

${\displaystyle X_{i}}$ が確率変数であるため、${\displaystyle {\bar {X}}}$ もまた確率変数である。すなわち、同じ母集団から得られた標本平均でも、何度も試行すれば標本平均として算出される数値も異なる可能性がある。

${\displaystyle K}$ 次元の確率変数に興味がある場合、各標本はそれぞれ ${\displaystyle K}$ 個の観測値からなり、個々の変数に対する標本平均 ${\displaystyle K}$ 個から確率変数全体の標本平均が構成される。以下では、 ${\displaystyle i(\in \{1,2,\ldots ,N\})}$ 番目の標本の ${\displaystyle j(\in \{1,2,\ldots ,K\})}$ 番目の成分を ${\displaystyle x_{ij}}$ と表し、${\displaystyle i}$ 番目の標本の観測値を次の列ベクトル ${\displaystyle \mathbf {x} _{i}}$ として表すとする:

${\displaystyle \mathbf {x} _{i}=\left[{\begin{matrix}x_{i1}\\\vdots \\x_{ij}\\\vdots \\x_{iK}\end{matrix}}\right]}$

この時、標本平均ベクトル ${\displaystyle \mathbf {\bar {x}} }$ を、次のような各成分ごとの標本平均を縦に並べた列ベクトルとして定義する:

${\displaystyle \mathbf {\bar {x}} ={\frac {1}{N}}\sum _{i=1}^{N}\mathbf {x} _{i}={\begin{bmatrix}{\bar {x}}_{1}\\\vdots \\{\bar {x}}_{j}\\\vdots \\{\bar {x}}_{K}\end{bmatrix}}}$

すなわち、標本平均ベクトルの ${\displaystyle j}$ 番目の成分は、標本から ${\displaystyle j}$ 番目の成分だけを抜き出して構成される一変量データの標本平均と一致する:

${\displaystyle {\bar {x}}_{j}={\frac {1}{N}}\sum _{i=1}^{N}x_{ij},\quad j=1,\ldots ,K}$

Summarize Timeline Top Qs Fact Check

標本共分散は ${\displaystyle K\times K}$ のサイズを持つ行列 ${\displaystyle \textstyle \mathbf {Q} =\left[q_{jk}\right]}$ として表せ、その各成分は

${\displaystyle q_{jk}={\frac {1}{N-1}}\sum _{i=1}^{N}\left(x_{ij}-{\bar {x}}_{j}\right)\left(x_{ik}-{\bar {x}}_{k}\right)}$

である。こうして計算される ${\displaystyle q_{jk}}$ は、母集団の ${\displaystyle j}$ 番目の要素と ${\displaystyle k}$ 番目の要素との共分散の推定量として用いることができる。先に定義した列ベクトル表記を用いれば、

${\displaystyle \mathbf {Q} ={1 \over {N-1}}\sum _{i=1}^{N}(\mathbf {x} _{i}-\mathbf {\bar {x}} )(\mathbf {x} _{i}-\mathbf {\bar {x}} )^{\mathrm {T} }}$

となる。ただし、式中でTは転置を表す。別の表記法として、列ベクトルを並べて構成できる以下の${\displaystyle K}$ 行 ${\displaystyle N}$ 列の行列

${\displaystyle \mathbf {F} ={\begin{bmatrix}\mathbf {x} _{1}&\mathbf {x} _{2}&\dots &\mathbf {x} _{N}\end{bmatrix}}}$

を定義すると、標本共分散は

${\displaystyle \mathbf {Q} ={\frac {1}{N-1}}(\mathbf {F} -\mathbf {\bar {x}} \,\mathbf {1} _{N}^{\mathrm {T} })(\mathbf {F} -\mathbf {\bar {x}} \,\mathbf {1} _{N}^{\mathrm {T} })^{\mathrm {T} }}$

として与えられる。ここで、${\displaystyle \mathbf {1} _{N}}$ は全ての要素が 1 であるような ${\displaystyle N}$ 次行ベクトルである。

さらに、${\displaystyle \mathbf {M} =\mathbf {F} ^{\mathrm {T} }}$を用いて標本共分散を定義するのであれば、

${\displaystyle \mathbf {Q} ={\frac {1}{N-1}}(\mathbf {M} -\mathbf {1} _{N}\mathbf {\bar {x}} )^{\mathrm {T} }(\mathbf {M} -\mathbf {1} _{N}\mathbf {\bar {x}} )}$

として表せる。

多変量確率変数（英語版）の共分散行列と同様、標本共分散行列もまた半正定値である。これは任意の行列 ${\displaystyle \mathbf {A} }$ に対して、行列 ${\displaystyle \mathbf {A} ^{T}\mathbf {A} }$ が半正定値行列であることから直ちに従う。さらに、標本共分散行列が正定値であることと、${\displaystyle \mathbf {F} }$ のランクが ${\displaystyle K}$ であることは同値である。

標本平均や標本共分散は、それぞれ母集団平均・母集団の共分散行行列の推定量として、推定量のバイアス（英語版）を含まない形となっている^[1]。上述の定義式で標本共分散の分母に ${\displaystyle \textstyle N}$ ではなく ${\displaystyle \textstyle N-1}$ を採用しているのはベッセル補正（英語版）の一種である。標本共分散は各観測値と標本平均との差に基づいて計算されるが、標本平均自体も観測値を用いて定義されるため、各観測値との相関が0ではない。ベッセル補正はこれを補正している。

どの確率変数についても、標本平均は母集団平均の「優れた」推定量である。ここで、「優れた」推定量とは、効率（統計学）（英語版）が良く、さらに不偏であることを指す。もちろん、同じ分布から抽出した異なる標本では異なる標本平均が得られ、ひいては真の平均に対する異なる推定値となるため、その推定量が母集団平均の真の値そのものであるとは限らない。したがって、標本平均は定数ではなく確率変数であり、その結果として独自の分布を持つことになる。

簡単な例として、母集団が平均 ${\displaystyle \mu }$、分散 ${\displaystyle \sigma ^{2}}$ であるような正規分布である場合、${\displaystyle N}$ 個の標本から計算される標本平均の従う分布も正規分布である。具体的には、平均 ${\displaystyle \mu }$、 分散 ${\displaystyle \sigma ^{2}/N}$ である正規分布に従う。

母集団が正規分布に従わない場合でも、標本サイズ ${\displaystyle N}$ が十分に大きく、かつ ${\displaystyle \sigma ^{2}/N}$ が有限であれば、標本平均はおおよそ正規分布に従う。これは中心極限定理の帰結である。

Summarize Timeline Fact Check

標本に重みがある場合、${\displaystyle i}$ 番目の標本 ${\displaystyle \textstyle {\textbf {x}}_{i}}$に関連する重み ${\displaystyle \textstyle w_{i}\geq 0}$ が定義される。ここで、それぞれの重みは規格化されている、すなわち

${\displaystyle \sum _{i=1}^{N}w_{i}=1}$

としても一般性を失わない。そうでない場合は、単に上の量で全ての重みを割ればいいからである。

すると、${\displaystyle \textstyle \mathbf {\bar {x}} }$ を重み付き算術平均（英語版）として

${\displaystyle \mathbf {\bar {x}} =\sum _{i=1}^{N}w_{i}\mathbf {x} _{i}}$

によって定義できる。また、重み付きの共分散行列 ${\displaystyle \textstyle \mathbf {Q} }$ の成分 ${\displaystyle q_{jk}}$ は

${\displaystyle q_{jk}={\frac {1}{1-\sum _{i=1}^{N}w_{i}^{2}}}\sum _{i=1}^{N}w_{i}\left(x_{ij}-{\bar {x}}_{j}\right)\left(x_{ik}-{\bar {x}}_{k}\right)}$

で与えられる。もし全ての重みが均一な時、すなわち ${\displaystyle \textstyle w_{i}=1/N}$ である時、重み付きの平均・共分散はともに重みのない状況の式を再現する。