Cota de Cramér-Rao

Summarize Timeline Fact Check

La cota depende de dos condiciones de regularidad débiles de la función de densidad de probabilidad, ${\displaystyle f(x;\theta )}$, y del estimador ${\displaystyle T(X)}$:

• La información de Fisher siempre está definida; en otras palabras, para todo ${\displaystyle x}$ tal que ${\displaystyle f(x;\theta )>0}$,

${\displaystyle {\frac {\partial }{\partial \theta }}\ln f(x;\theta )}$

es finito.

• Las operaciones de integración con respecto a ${\displaystyle x}$ y de diferenciación con respecto a ${\displaystyle \theta }$ pueden intercambiarse en la esperanza de ${\displaystyle T}$; es decir,

${\displaystyle {\frac {\partial }{\partial \theta }}\left[\int T(x)f(x;\theta )\,dx\right]=\int T(x)\left[{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx}$

siempre que el miembro derecho de la ecuación sea finito.

En algunos casos, un estimador sesgado puede tener tanto varianza como error cuadrático medio por debajo de la cota inferior de Cramér-Rao (la cota inferior se aplica solo a estimadores insesgados).

Si se extiende la segunda condición de regularidad a la segunda derivada, entonces se puede usar una forma alternativa de la información de Fisher para obtener una nueva desigualdad de Cramér-Rao

${\displaystyle \mathrm {var} \left({\widehat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}(\theta )}}={\frac {1}{-\mathrm {E} \left[{\frac {d^{2}}{d\theta ^{2}}}\ln f(X;\theta )\right]}}}$

En algunos casos puede resultar más sencillo tomar la esperanza con respecto a la segunda derivada que tomarla respecto del cuadrado de la primera derivada.

Summarize Timeline Top Qs Fact Check

Extendiendo la cota de Cramér-Rao para múltiples parámetros, defínase el vector columna de parámetros

${\displaystyle {\boldsymbol {\theta }}=\left[\theta _{1},\theta _{2},\dots ,\theta _{d}\right]^{T}\in \mathbb {R} ^{d}}$

con función de densidad de probabilidad ${\displaystyle f(x;{\boldsymbol {\theta }})}$ que satisface las dos condiciones de regularidad definidas anteriormente.

La matriz de información de Fisher es una matriz de dimensión ${\displaystyle d\times d}$ con elementos ${\displaystyle {\mathcal {I}}_{m,k}}$ definidos según

${\displaystyle {\mathcal {I}}_{m,k}=\mathrm {E} \left[{\frac {d}{d\theta _{m}}}\log f\left(x;{\boldsymbol {\theta }}\right){\frac {d}{d\theta _{k}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right]}$

entonces, la cota de Cramér-Rao es

${\displaystyle \mathrm {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq {\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)}{\partial {\boldsymbol {\theta }}^{T}}}{\mathcal {I}}\left({\boldsymbol {\theta }}\right)^{-1}{\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)^{T}}{\partial {\boldsymbol {\theta }}}}}$

donde

• ${\displaystyle {\boldsymbol {T}}(X)={\begin{bmatrix}T_{1}(X)&T_{2}(X)&\cdots &T_{d}(X)\end{bmatrix}}^{T}}$
• ${\displaystyle {\boldsymbol {\psi }}=\mathrm {E} \left[{\boldsymbol {T}}(X)\right]={\begin{bmatrix}\psi _{1}\left({\boldsymbol {\theta }}\right)&\psi _{2}\left({\boldsymbol {\theta }}\right)&\cdots &\psi _{d}\left({\boldsymbol {\theta }}\right)\end{bmatrix}}^{T}}$

• ${\displaystyle {\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)}{\partial {\boldsymbol {\theta }}^{T}}}={\begin{bmatrix}\psi _{1}\left({\boldsymbol {\theta }}\right)\\\psi _{2}\left({\boldsymbol {\theta }}\right)\\\vdots \\\\\psi _{d}\left({\boldsymbol {\theta }}\right)\end{bmatrix}}{\begin{bmatrix}{\frac {\partial }{\partial \theta _{1}}}&{\frac {\partial }{\partial \theta _{2}}}&\cdots &{\frac {\partial }{\partial \theta _{d}}}\end{bmatrix}}={\begin{bmatrix}{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{1}}}&{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{2}}}&\cdots &{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{d}}}\\\\{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{1}}}&{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{2}}}&\cdots &{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{d}}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{1}}}&{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{2}}}&\cdots &{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{d}}}\end{bmatrix}}}$

• ${\displaystyle {\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)^{T}}{\partial {\boldsymbol {\theta }}}}={\begin{bmatrix}{\frac {\partial }{\partial \theta _{1}}}\\{\frac {\partial }{\partial \theta _{2}}}\\\vdots \\{\frac {\partial }{\partial \theta _{d}}}\end{bmatrix}}{\begin{bmatrix}\psi _{1}\left({\boldsymbol {\theta }}\right)&\psi _{2}\left({\boldsymbol {\theta }}\right)&\cdots &\psi _{d}\left({\boldsymbol {\theta }}\right)\end{bmatrix}}={\begin{bmatrix}{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{1}}}&{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{1}}}&\cdots &{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{1}}}\\\\{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{2}}}&{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{2}}}&\cdots &{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{2}}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{d}}}&{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{d}}}&\cdots &{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{d}}}\end{bmatrix}}}$

Y ${\displaystyle \mathrm {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)}$ es una matriz semi-definida positiva, es decir

${\displaystyle x^{T}\mathrm {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)x\geq 0\quad \forall x\in \mathbb {R} ^{d}}$

Si ${\displaystyle {\boldsymbol {T}}(X)={\begin{bmatrix}T_{1}(X)&T_{2}(X)&\cdots &T_{d}(X)\end{bmatrix}}^{T}}$ es un estimador insesgado (es decir, ${\displaystyle {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)={\boldsymbol {\theta }}}$) entonces la cota de Cramér-Rao es

${\displaystyle \mathrm {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq {\mathcal {I}}\left({\boldsymbol {\theta }}\right)^{-1}}$

Summarize Timeline Top Qs Fact Check

Distribución normal multivariada

Para el caso de una distribución normal multivariada de dimensión d

${\displaystyle {\boldsymbol {x}}\sim N_{d}\left({\boldsymbol {\mu }}\left({\boldsymbol {\theta }}\right),C\left({\boldsymbol {\theta }}\right)\right)}$

con función de densidad de probabilidad

${\displaystyle f\left({\boldsymbol {x}};{\boldsymbol {\theta }}\right)={\frac {1}{\sqrt {(2\pi )^{d}\left|C\right|}}}\exp \left(-{\frac {1}{2}}\left({\boldsymbol {x}}-{\boldsymbol {\mu }}\right)^{T}C^{-1}\left({\boldsymbol {x}}-{\boldsymbol {\mu }}\right)\right),}$

la matriz de información de Fisher tiene entradas

${\displaystyle {\mathcal {I}}_{m,k}={\frac {\partial {\boldsymbol {\mu }}^{T}}{\partial \theta _{m}}}C^{-1}{\frac {\partial {\boldsymbol {\mu }}}{\partial \theta _{k}}}+{\frac {1}{2}}\mathrm {tr} \left(C^{-1}{\frac {\partial C}{\partial \theta _{m}}}C^{-1}{\frac {\partial C}{\partial \theta _{k}}}\right)}$

donde ${\displaystyle tr}$ es la traza de una matriz.

En particular, si ${\displaystyle w[n]}$ es ruido blanco gaussiano (una muestra de ${\displaystyle N}$ observaciones independientes) con varianza conocida ${\displaystyle \sigma ^{2}}$, es decir,

${\displaystyle w[n]\sim \mathbb {N} _{N}\left({\boldsymbol {\mu }}(\theta ),\sigma ^{2}{\mathcal {I}}\right),}$

y ${\displaystyle \theta }$ es un escalar, entonces la matriz de información de Fisher es de dimensión 1 × 1

${\displaystyle {\mathcal {I}}(\theta )=\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta _{m}}}\right)^{T}C^{-1}\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta _{k}}}\right)=\sum _{i=0}^{N}{\frac {1}{\sigma ^{2}}}={\frac {N}{\sigma ^{2}}},}$

y por lo tanto la cota de Cramér-Rao es

${\displaystyle \mathrm {var} \left(\theta \right)\geq {\frac {\sigma ^{2}}{N}}.}$

• Información de Fisher