Complétude (statistiques)

Le modèle de Bernoulli admet une statistique complète^[1]. Soit X un échantillon aléatoire de taille n tel que chaque X _i suit la même loi de Bernoulli de paramètre p . Soit T le nombre de 1 observés dans l'échantillon, ce qui revient à ${\textstyle T=\sum _{i=1}^{n}X_{i}}$ . T est une statistique de X qui suit une loi binomiale avec les paramètres (n, p). Si l'espace des paramètres pour p est ]0;1[, alors T est une statistique complète. Pour voir cela, on peut remarquer que

${\displaystyle \mathbb {E} _{p}(g(T))=\sum _{t=0}^{n}{g(t){n \choose t}p^{t}(1-p)^{n-t}}=(1-p)^{n}\sum _{t=0}^{n}{g(t){n \choose t}\left({\frac {p}{1-p}}\right)^{t}}.}$

Il apparait également que ni p ni 1 − p sont nuls. Ainsi ${\displaystyle \mathbb {E} _{p}(g(T))=0}$ si et seulement si :

${\displaystyle \sum _{t=0}^{n}g(t){n \choose t}\left({\frac {p}{1-p}}\right)^{t}=0.}$

En notant p /(1 − p ) par r, on obtient :

${\displaystyle \sum _{t=0}^{n}g(t){n \choose t}r^{t}=0.}$

Tout d’abord, on peut voir que le domaine de définition de r est l'ensemble des réels positifs . De plus, E(g(T)) est un polynôme en r et, par conséquent, ne peut être identique à 0 que si tous les coefficients sont 0, c'est-à-dire g(t) = 0 pour tout t .

Il est important de noter que le résultat selon lequel tous les coefficients doivent être nuls a été obtenu en raison de la définition de r. Si l'espace des paramètres avait été fini et avec un nombre d'éléments inférieur ou égal à n, il aurait été possible de résoudre les équations linéaires dans g(t) obtenues en substituant les valeurs de r et d'obtenir des solutions non nulles. Par exemple, si n = 1 et que l’espace des paramètres est {0,5}, une seule observation et une seule valeur de paramètre, T n’est pas complet. En effet, avec la définition :

${\displaystyle g(t)=2(t-0,5),\,}$

alors, E(g(T)) = 0 bien que g(t) ne soit pas nul pour t = 0 ni pour t = 1.

Cet exemple montre que, dans un échantillon X₁ , X₂ de taille 2 à partir d'une distribution normale avec une variance connue, la statistique X₁ + X₂ est complète et exhaustive. Supposons que X₁, X₂ soient des variables aléatoires indépendantes, identiquement distribuées, suivant une loi normale avec d'espérance θ et une variance à 1. La somme

${\displaystyle s((X_{1},X_{2}))=X_{1}+X_{2}}$

est une statistique complète pour θ .

Pour le montrer, il suffit de démontrer qu'il n'existe pas de fonction non nulle ${\displaystyle g}$ de telle sorte que l'espérance de

${\displaystyle g(s(X_{1},X_{2}))=g(X_{1}+X_{2})}$

reste nul quelle que soit la valeur de θ .

Ce fait peut être perçu comme suit. La loi de probabilité de X ₁ + X ₂ est une loi normale d'espérance 2 θ et de variance 2. Sa fonction de densité de probabilité dans ${\displaystyle x}$ est donc proportionnel à

${\displaystyle \exp \left(-(x-2\theta )^{2}/4\right).}$

L'espérance de g ci-dessus serait donc une constante multipliée par

${\displaystyle \int _{-\infty }^{\infty }g(x)\exp \left(-(x-2\theta )^{2}/4\right)\,\mathrm {d} x.}$

Après changements de variables, on peut réécrire cette quantité en

${\displaystyle k(\theta )\int _{-\infty }^{\infty }h(x)\mathrm {e} ^{x\theta }\,\mathrm {d} x,}$

où k ( θ ) est une fonction qui ne s'annule jamais et

${\displaystyle h(x)=g(x)\mathrm {e} ^{-x^{2}/4}.}$

Comme fonction de θ, il s'agit d'une transformée de Laplace bilatérale de h et elle ne peut pas être identiquement nulle à moins que h ne soit nul presque partout^[2]. L'exponentielle n'est pas nulle, donc cela ne peut se produire que si g est nul presque partout.

En revanche, la statistique ${\textstyle (X_{1},X_{2})}$ est exhaustive mais pas complète. Elle admet un estimateur non nul et sans biais de zéro, à savoir ${\textstyle X_{1}-X_{2}}$ .

La plupart des modèles paramétriques disposent d’une statistique exhaustive qui n’est pas complète. Ceci est important car le théorème de Lehmann-Scheffé ne peut pas être appliqué à de tels modèles. Galili et Meilijson 2016 ^[3] proposent l’exemple didactique suivant.

On considère ${\displaystyle n}$ échantillons indépendants de la loi uniforme :

${\displaystyle X_{i}\sim {\mathcal {U}}\left((1-k)\theta ,(1+k)\theta \right)\qquad \qquad 0<k<1}$

avec ${\displaystyle k}$ est un paramètre de conception connu. Ce modèle est une famille d'échelle (un cas particulier d'un modèle de famille d'échelle de localisation) : mettre à l'échelle les échantillons par un multiplicateur ${\displaystyle c}$ multiplie le paramètre ${\displaystyle \theta }$ .

Galili et Meilijson montrent que le minimum et le maximum des échantillons constituent ensemble une statistique exhaustive: ${\displaystyle X_{(1)},X_{(n)}}$ (en utilisant la notation habituelle pour les statistiques d'ordre). En effet, conditionnée à ces deux valeurs, la distribution du reste de l'échantillon est simplement uniforme sur l'intervalle qu'elles définissent : ${\displaystyle \left[X_{(1)},X_{(n)}\right]}$ .

Cependant, leur rapport suit une loi qui ne dépend pas de ${\displaystyle \theta }$ . Cela découle du fait qu’il s’agit d’une famille d’échelles : tout changement d’échelle impacte les deux variables de manière identique. En soustrayant la moyenne ${\displaystyle m}$ à partir de cette distribution, on obtient :

${\displaystyle \mathbb {E} \left[{\frac {X_{(n)}}{X_{(1)}}}\right]-m=0}$

On a ainsi montré qu'il existe une fonction ${\displaystyle g\left(X_{(1)},X_{(n)}\right)}$ ce qui n'est pas nulle partout mais qui est de moyenne nulle . La paire n’est donc pas complète.

La notion de complétude a de nombreuses applications en statistique, notamment dans les théorèmes suivants de la statistique mathématique.

L'exhaustivité se produit dans le théorème de Lehmann-Scheffé^[1], qui établit que si une statistique est non biaisée, complète et exhaustive pour un certain paramètre θ, alors c'est le meilleur estimateur sans biais pour la moyenne pour θ . En d'autres termes, cette statistique a une perte attendue plus faible pour toute fonction de perte convexe ; dans de nombreuses applications pratiques avec la fonction de perte au carré, elle a une erreur quadratique moyenne plus faible parmi tous les estimateurs ayant la même espérance .

Il existe des exemples où, lorsque la statistique minimale exhaustive n'est pas complète, plusieurs statistiques alternatives existent pour une estimation non biaisée de θ, tandis que certaines d'entre elles ont une variance plus faible que d'autres^[3].

Voir également estimateur sans biais à variance minimale .

La complétude bornée se produit dans le théorème de Basu^[1], qui stipule qu'une statistique qui est à la fois bornée et exhaustive est indépendante de toute statistique auxiliaire .

La complétude limitée se produit également dans le théorème de Bahadur. Dans le cas où il existe au moins une statistique minimale exhaustive, une statistique qui est exhaustive et complète bornée est nécessairement minimale exhaustive^[4].

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Completeness (statistics) » (voir la liste des auteurs).

• Portail des probabilités et de la statistique