Familia exponencial

En probabilidad y estadística, la familia exponencial es una clase de distribuciones de probabilidad cuya formulación matemática puede expresarse de la manera que se especifica debajo. Esta formulación confiere a las distribuciones de esta familia una serie de propiedades algebraicas y estadísticas muy convenientes. El concepto de la familia exponencial fue introducido por E. J. G. Pitman, G. Darmois, y B. O. Koopman en 1935. From Wikipedia, the free encyclopedia

En probabilidad y estadística, la familia exponencial es una clase de distribuciones de probabilidad cuya formulación matemática puede expresarse de la manera que se especifica debajo. Esta formulación confiere a las distribuciones de esta familia una serie de propiedades algebraicas y estadísticas muy convenientes.

El concepto de la familia exponencial fue introducido por^[1] E. J. G. Pitman,^[2] G. Darmois,^[3] y B. O. Koopman^[4] en 1935.

Parámetro escalar

A continuación se ofrece una serie de definiciones de la familia exponencial con un grado creciente de generalidad y abstracción.

La familia exponencial de parámetro escalar es un conjunto de funciones de distribución cuya función de densidad puede expresarse de la forma

f_{X}(x;\theta )=h(x)\exp(\eta (\theta )T(x)-A(\theta ))\,\!

donde $T(x)$ , $h(x)$ , $\eta (\theta )$ y $A(\theta )$ son funciones conocidas.

A θ se lo denomina parámetro de la familia.

A menudo, x es un vector de observaciones. En tal caso, T(x) es una función real sobre el espacio de posibles valores de x.

Si η(θ) = θ se dice que la familia exponencial está expresada en su forma canónica. Redefiniendo η = η(θ), es posible expresar una familia exponencial en su forma canónica. De todos modos, la forma canónica no es única dado que η(θ) puede aparecer multiplicado por una constante no nula y T(x), a su vez, multiplicada por su inversa.

Parámetro vectorial

La definición anterior puede extenderse al caso de un parámetro vectorial ${\boldsymbol {\theta }}=(\theta _{1},\theta _{2},\ldots ,\theta _{d})^{T}$ . En tal caso, se dice que una familia de distribuciones pertenece a la familia exponencial cuando su función de densidad puede expresarse de la forma

f_{X}(x;\theta )=h(x)\exp \left(\sum _{i=1}^{s}\eta _{i}({\boldsymbol {\theta }})T_{i}(x)-A({\boldsymbol {\theta }})\right)\,\!

Como en el caso escalar, se dice que está en forma canónica cuando $\eta _{i}({\boldsymbol {\theta }})=\theta _{i}$ para todo $i$ .

Se dice que la familia exponencial está curvada cuando la dimensión de ${\boldsymbol {\theta }}=(\theta _{1},\theta _{2},\ldots ,\theta _{d})^{T}$ es menor que la del vector ${\boldsymbol {\eta }}({\boldsymbol {\theta }})=(\eta _{1}({\boldsymbol {\theta }}),\eta _{2}({\boldsymbol {\theta }}),\ldots ,\eta _{s}({\boldsymbol {\theta }}))^{T}$ , es decir, cuando la dimensión del vector de parámetros es menor que el número de funciones del vector de parámetros en la representación anterior.

Formulación de acuerdo con la teoría de la medida

Supóngase que H es una función real de variable real no decreciente y que H(x) tiende a cero cuando x tiende a −∞. Entonces, la integral de Lebesgue–Stieltjes con respecto a dH(x) son integrales con respecto a la medida de referencia de la familia exponencial generada por H.

Un miembro de tal familia exponencial tiene función de distribución

dF(x|\eta )=e^{-\eta ^{\top }T(x)-A(\eta )}\,dH(x).

Si F es una función de distribución continua que tiene densidad, se puede escribir dF(x) = f(x) dx.

H(x) es entonces el integrador de Lebesgue–Stieltjes para la medida de referencia. Cuando la medida de referencia es finita puede ser normalizada y H es una función de distribución. Si F es continua y tiene una densidad, lo mismo sucede con H; entonces se puede escribir dH(x) = h(x) dx. Si F es discreta, entonces H es una función escalonada (con escalones en el soporte de F).

Interpretación

En las definiciones anteriores, las funciones $T(x)$ , $\eta (\theta )$ y $A(\theta )$ parecen haber sido definidas arbitrariamente. Sin embargo, desempeñan un papel particular en la función de distribución.

$T(x)$ es un estimador suficiente de la distribución. Así, las familias exponenciales cuentan con un estimador suficiente cuya dimensión es igual a la del número de parámetros estimables.

$\eta$ es el llamado parámetro natural. El conjunto de sus valores para los que $f_{X}(x;\theta )$ es finito recibe el nombre de espacio del parámetro natural. Puede demostrarse que dicho espacio es siempre convexo.

$A(\theta )$ es un factor de normalización gracias al cual $f_{X}(x;\theta )$ es una función de distribución. La función A tiene gran importancia por sí misma dado que en los casos en los que la medida de referencia $dH(x)$ es una medida de probabilidad, A es la función generadora de la distribución del estadístico suficiente $T(X)$ cuando la distribución de $X$ es $dH(x)$ .

En particular, para el caso escalar y cuando la familia exponencial está expresada en su forma canónica, se tiene que

f_{X}(x;\theta )=h(x)\exp(\theta T(x)-A(\theta ))\,\!.

Derivando con respecto a $\theta$ , se obtiene

{\frac {d}{d\theta }}f_{X}(x;\theta )=[T(x)-A^{\prime }(\theta )]f_{X}(x;\theta )\,\!

e, integrando dicha expresión con respecto a x, (y permutando la integral y la derivada) se llega a que

0={\frac {d}{d\theta }}\int f_{X}(x;\theta )=\int [T(x)-A^{\prime }(\theta )]f_{X}(x;\theta )\,\!,

es decir,

A^{\prime }(\theta )=\int A^{\prime }(\theta )f_{X}(x;\theta )=\int T(x)f_{X}(x;\theta )=E_{\theta }[T(x)]\,\!.

Tomando derivadas sucesivas respecto a $\theta$ puede deducirse que la varianza de T(x) es la derivada segunda de $A(\theta )$ , etc.

Ejemplos

Muchas de las familias de funciones de distribución pertenecen a la exponencial. Por ejemplo, la normal, la exponencial, la gamma, la chi-cuadrado, la beta, la Weibull (si el parámetro de forma es conocido), la distribución de Dirichlet, la de Bernoulli, la binomial, la multinomial, la de Poisson, la distribución binomial negativa y la geométrica. También lo es la de Pareto cuando el límite inferior del soporte está fijo.

Sin embargo, las distribuciones uniforme y de Cauchy no forman parte de la familia exponencial. La de Weibull no es de la familia exponencial a no ser que el parámetro de forma sea conocido. Y la de Laplace tampoco lo es a no ser que su media sea conocida e igual a cero.

A continuación se ofrecen algunos ejemplos detallados de la representación de algunas familias de funciones de densidad de acuerdo con el formalismo de las familias exponenciales.

Distribución normal de varianza unitaria y media desconocida

En tal caso, la función de densidad es

f(x;\mu )={\frac {1}{\sqrt {2\pi }}}e^{-(x-\mu )^{2}/2}.

Pertenece a la familia exponencial como puede apreciarse identificando

h(x)=e^{-x^{2}/2}/{\sqrt {2\pi }}

T(x)=x\!\,

A(\mu )=\mu ^{2}/2\!\,

\eta (\mu )=\mu .\!\,

Distribución normal con media y varianza desconocidas

En tal caso, la función de densidad es

f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(x-\mu )^{2}/(2\sigma ^{2})}

y pueden definirse

{\boldsymbol {\theta }}=\left({\mu  \over \sigma ^{2}},{1 \over \sigma ^{2}}\right)^{T}

h(x)={1 \over {\sqrt {2\pi }}}

T(x)=\left(x,-{x^{2} \over 2}\right)^{T}

A({\boldsymbol {\theta }})={\theta _{1}^{2} \over 2\theta _{2}}-\ln(\theta _{2}^{1/2})={\mu ^{2} \over 2\sigma ^{2}}-\ln \left({1 \over \sigma }\right)

Distribución binomial

Como ejemplo de una familia exponencial discreta puede considerarse la binomial. Su función de probabilidad es

f(x)={n \choose x}p^{x}(1-p)^{n-x},\quad x\in \{0,1,2,\ldots ,n\},

que puede escribirse también como

f(x)={n \choose x}\exp \left(x\log \left({p \over 1-p}\right)+n\log \left(1-p\right)\right).

De ahí que esté dentro de la familia exponencial con parámetro natural

\eta =\log {p \over 1-p}.

Importancia en estadística

Estimación clásica: suficiencia

De acuerdo con el teorema de Pitman-Koopman-Darmois, dentro de las familias cuyo dominio no varía con el parámetro que se quiere estimar, sólo existe un estadístico suficiente cuya dimensión permanece constante al aumentar el tamaño muestral dentro de las familias exponenciales.

Estimación bayesiana y distribuciones conjugadas

Cuando la función de verosimilitud pertenece a la familia exponencial, siempre existe una distribución de probabilidad a priori conjugada que, además, a menudo, pertenece también a la familia exponencial. Una distribución a priori conjugada π para el parámetro η de la familia exponencial es

\pi (\eta )\propto \exp(-\eta ^{\top }\alpha -\beta \,A(\eta )),

donde $\alpha \in \mathbb {R} ^{n}$ y $\beta >0$ son hiperparámetros.

Tests uniformemente más potentes

La familia exponencial uniparamétrica es una función monótonamente creciente de su estadístico suficiente T(x) siempre que η(θ) no sea decreciente. Como consecuencia, existe un test uniformemente más potente para verificar la hipótesis H₀: θ ≥ θ₀ contra H₁: θ < θ₀.

Existencia del estimador de máxima verosimilitud

Aunque el estimador de máxima verosimilitud de una familia de distribuciones no tiene por qué existir o ser único, la situación es distinta dentro de la familia exponencial. De hecho, el logaritmo de la función de verosimilitud es necesariamente cóncavo.