Matriz de covarianza

Si ${\displaystyle {\textbf {X}}}$ es un vector aleatorio dado por

${\displaystyle {\textbf {X}}={\begin{bmatrix}X_{1}\\\vdots \\X_{n}\end{bmatrix}}}$

tal que la ${\displaystyle i}$-ésima entrada del vector ${\displaystyle {\textbf {X}}}$ es una variable aleatoria con varianza finita, entonces la matriz de covarianza ${\displaystyle \Sigma }$ es una matriz de dimensión ${\displaystyle n\times n}$ cuya entrada ${\displaystyle (i,j)}$ es la covarianza entre la variable ${\displaystyle X_{i}}$ y ${\displaystyle X_{j}}$, es decir

${\displaystyle \Sigma _{ij}=\operatorname {Cov} (X_{i},X_{j})}$

En particular, cuando ${\displaystyle i=j}$, es decir, la diagonal de la matriz ${\displaystyle \Sigma }$, obtenemos

${\displaystyle \Sigma _{ii}=\operatorname {Cov} (X_{i},X_{i})=\operatorname {Var} (X_{i})}$

En otras palabras, la matriz ${\displaystyle \Sigma }$ queda definida como

${\displaystyle \Sigma ={\begin{bmatrix}{\text{Var}}(X_{1})&{\text{Cov}}(X_{1},X_{2})&\cdots &{\text{Cov}}(X_{1},X_{n})\\{\text{Cov}}(X_{2},X_{1})&{\text{Var}}(X_{2})&\cdots &{\text{Cov}}(X_{2},X_{n})\\\vdots &\vdots &\ddots &\vdots \\{\text{Cov}}(X_{n},X_{1})&{\text{Cov}}(X_{n},X_{2})&\cdots &{\text{Var}}(X_{n})\end{bmatrix}}}$

La anterior definición es equivalente a la igualdad matricial

${\displaystyle \Sigma =\mathrm {E} \left[\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)^{t}\right]}$

Por lo tanto, se entiende que esto generaliza a mayores dimensiones el concepto de varianza de una variable aleatoria escalar ${\displaystyle X}$.

En ocasiones, la matriz ${\displaystyle \Sigma }$ es llamada matriz de varianza covarianza y también suele denotarse como ${\displaystyle {\text{Var}}({\textbf {X}})}$ o ${\displaystyle {\text{Cov}}({\textbf {X}})}$.

Para ${\displaystyle \Sigma =\mathrm {E} \left[\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {E} [{\textbf {X}}]\right)^{t}\right]}$ y ${\displaystyle \mu =\mathrm {E} ({\textbf {X}})}$, las siguientes propiedades fundamentales se demuestran correctas:

1. ${\displaystyle \Sigma }$ es una matriz simétrica.
2. ${\displaystyle \Sigma }$ es semidefinida positiva
3. ${\displaystyle \operatorname {Var} (A\mathbf {X} )=A\operatorname {Var} (\mathbf {X} )A^{t}}$ donde ${\displaystyle A}$ es una matriz no aleatoria de dimensión ${\displaystyle n\times m}$.

La matriz de covarianza (aunque muy simple) es una herramienta muy útil en varios campos. A partir de ella se puede obtener una transformación lineal que puede de-correlacionar los datos o, desde otro punto de vista, encontrar una base óptima para representar los datos de forma óptima (véase cociente de Rayleigh para la prueba formal y otras propiedades de las matrices de covarianza). Esto se llama análisis del componente principal (PCA por sus siglas en inglés) en estadística , y transformada de Karhunen-Loève en procesamiento de la imagen.

• Weisstein, Eric W. «Covariance Matrix». En Weisstein, Eric W, ed. MathWorld (en inglés). Wolfram Research. 
• van Kampen, N. G. Stochastic processes in physics and chemistry. New York: North-Holland, 1981.