Paradoxe de Stein

Summarize Timeline Top Qs Fact Check

Soient ${\displaystyle X_{1},\cdots ,X_{n}}$ ${\displaystyle n}$ variables aléatoires réelles indépendantes ayant des distributions normales d'espérances ${\displaystyle \mu _{1},\cdots ,\mu _{n}}$, et toutes de variance ${\displaystyle 1}$. Le paradoxe concerne l'estimation des espérances ${\displaystyle \mu _{1},\cdots ,\mu _{n}}$.

Comme il y a qu'une seule donnée, l'estimateur du maximum de vraisemblance de ${\displaystyle \mu _{1}}$ est ${\displaystyle X_{1}}$, de ${\displaystyle \mu _{2}}$ est ${\displaystyle X_{2}}$, ... , de ${\displaystyle \mu _{n}}$ est ${\displaystyle X_{n}}$^[3].

Notons ${\displaystyle X}$ le vecteur aléatoire de ${\displaystyle \mathbb {R} ^{n}}$ ayant pour coordonnées ${\displaystyle X_{1},\cdots ,X_{n}}$ et ${\displaystyle {\vec {\mu }}}$ le vecteur de ${\displaystyle \mathbb {R} ^{n}}$ayant pour coordonnées ${\displaystyle \mu _{1},\cdots ,\mu _{n}}$. L'estimateur du maximum de vraisemblance de ${\displaystyle {\vec {\mu }}}$ est alors simplement ${\displaystyle {\hat {\mu }}_{MV}=X}$. Cet estimateur est non biaisé, et il s'agit de l'estimateur non biaisé de plus petite variance. Cependant, le paradoxe de Stein est que si ${\displaystyle n\geq 3}$, il existe un meilleur estimateur : l'estimateur de James-Stein (nommé d'après Willard James et Charles Stein), défini par ${\displaystyle {\hat {\mu }}_{JS}=\left(1-{\frac {n-2}{\lVert X\rVert ^{2}}}\right)X}$, où ${\displaystyle \lVert X\rVert ^{2}=X_{1}^{2}+\cdots +X_{n}^{2}}$ est le carré de la norme euclidienne de ${\displaystyle X}$^[3].

Le mot meilleur ici est à prendre au sens du risque quadratique. Le risque quadratique d'un estimateur ${\displaystyle {\hat {\mu }}}$ est défini par : ${\displaystyle R({\hat {\mu }},{\vec {\mu }})=\mathbb {E} \left(\lVert {\hat {\mu }}-{\vec {\mu }}\rVert ^{2}\right)}$ (ce risque correspond à une erreur quadratique moyenne multiparamétrique). L'estimateur de James-Stein est meilleur au sens qu'il a un plus faible risque quadratique que l'estimateur du maximum de vraisemblance, et ce quel que soit ${\displaystyle {\vec {\mu }}}$^[3]. On dit que l'estimateur de James-Stein domine l'estimateur du maximum de vraisemblance. Cette domination est stricte car il existe des valeurs de ${\displaystyle {\vec {\mu }}}$ pour lesquelles le risque de l'estimateur de James-Stein est strictement plus petit que celui de l'estimateur du maximum de vraisemblance.

Ce résultat peut être énoncé de manière plus concise^{[réf. nécessaire]} :

Théorème — Soit ${\displaystyle n\geq 3}$, ${\displaystyle {\vec {\mu }}\in \mathbb {R} ^{n}}$ et ${\displaystyle X\sim {\mathcal {N}}({\vec {\mu }},I_{n})}$. Soit ${\displaystyle {\hat {\mu }}_{MV}=X}$ et ${\displaystyle {\hat {\mu }}_{JS}=\left(1-{\frac {n-2}{\lVert X\rVert ^{2}}}\right)X}$. Alors ${\displaystyle \mathbb {E} \left(\lVert {\hat {\mu }}_{JS}-{\vec {\mu }}\rVert ^{2}\right)\leq \mathbb {E} \left(\lVert {\hat {\mu }}_{MV}-{\vec {\mu }}\rVert ^{2}\right)}$. De plus, il existe au moins un ${\displaystyle {\vec {\mu }}}$ pour lequel l'inégalité précédente est stricte.

Reprenons les notations précédentes et calculons le risques quadratiques des deux estimateurs.

Risque quadratique de l'estimateur du maximum de vraisemblance

Le risque quadratique de ${\displaystyle {\hat {\mu }}_{MV}}$ vaut :

${\displaystyle \mathbb {E} (\lVert {\hat {\mu }}_{MV}-{\vec {\mu }}\rVert ^{2})=\mathbb {E} (\lVert X-{\vec {\mu }}\rVert ^{2})=\mathbb {E} \left(\sum _{i}^{n}(X_{i}-\mu _{i})^{2}\right)=\sum _{i}^{n}\mathbb {E} \left((X_{i}-\mu _{i})^{2}\right)=\sum _{i}^{n}\mathrm {Var} (X_{i})=n}$ car on a supposé que les variances des variables ${\displaystyle X_{i}}$ vaut 1.

Risque quadratique de l'estimateur de James-Stein

Le risque quadratique de ${\displaystyle {\hat {\mu }}_{JS}}$ est

${\displaystyle \mathbb {E} (\lVert {\hat {\mu }}_{JS}-{\vec {\mu }}\rVert ^{2})=\mathbb {E} \left(\lVert \left(1-{\frac {n-2}{\lVert X\rVert ^{2}}}\right)X-{\vec {\mu }}\rVert ^{2}\right)}$

que l'on peut réécrire

${\displaystyle \mathbb {E} \left(\lVert (X-{\vec {\mu }})-{\frac {n-2}{\lVert X\rVert ^{2}}}X\rVert ^{2}\right)}$.

Or,

${\displaystyle \lVert (X-{\vec {\mu }})-{\frac {n-2}{\lVert X\rVert ^{2}}}X\rVert ^{2}=\lVert X-{\vec {\mu }}\rVert ^{2}+{\frac {(n-2)^{2}}{\lVert X\rVert ^{2}}}-2(n-2)(X-{\vec {\mu }})\cdot {\frac {X}{\lVert X\rVert ^{2}}}}$ où ${\displaystyle \cdot }$ désigne le produit scalaire.

Donc

${\displaystyle \mathbb {E} (\lVert {\hat {\vec {\mu }}}_{JS}-{\vec {\mu }}\rVert ^{2})=n+(n-2)^{2}\mathbb {E} \left({\frac {1}{\lVert X\rVert ^{2}}}\right)-2(n-2)\mathbb {E} \left((X-{\vec {\mu }})\cdot {\frac {X}{\lVert X\rVert ^{2}}}\right)}$

Calculons maintenant ${\displaystyle \mathbb {E} \left((X-{\vec {\mu }})\cdot {\frac {X}{\lVert X\rVert ^{2}}}\right)}$.

${\displaystyle {\begin{aligned}\mathbb {E} \left((X-{\vec {\mu }})\cdot {\frac {X}{\lVert X\rVert ^{2}}}\right)&=\sum _{i=1}^{n}\mathbb {E} \left({\frac {X_{i}}{\lVert X\rVert ^{2}}}(X_{i}-\mu _{i})\right)\\&=\sum _{i=1}^{n}\int _{{\vec {x}}\in \mathbb {R} ^{n}}{\frac {x_{i}}{\lVert {\vec {x}}\rVert ^{2}}}{\frac {(x_{i}-\mu _{i})}{(2\pi )^{\frac {n}{2}}}}e^{-{\frac {1}{2}}\lVert {\vec {x}}-{\vec {\mu }}\rVert ^{2}}\mathrm {d} x_{1}\cdots \mathrm {d} x_{n}\end{aligned}}}$

Chaque intégrale de cette somme peut-être simplifiée en utilisant une intégration par partie en écrivant :

${\displaystyle {\frac {(x_{i}-\mu _{i})}{(2\pi )^{\frac {n}{2}}}}e^{-{\frac {1}{2}}\lVert {\vec {x}}-{\vec {\mu }}\rVert ^{2}}={\frac {\partial }{\partial x_{i}}}\left[-{\frac {1}{(2\pi )^{\frac {n}{2}}}}e^{-{\frac {1}{2}}\lVert {\vec {x}}-{\vec {\mu }}\rVert ^{2}}\right]}$ et ${\displaystyle {\frac {\partial }{\partial x_{i}}}\left[{\frac {x_{i}}{\lVert {\vec {x}}\rVert ^{2}}}\right]={\frac {\lVert {\vec {x}}\rVert ^{2}-2x_{i}^{2}}{\lVert {\vec {x}}\rVert ^{4}}}}$.

D'où

${\displaystyle {\begin{aligned}\mathbb {E} \left({\frac {X_{i}}{\lVert X\rVert ^{2}}}(X_{i}-\mu _{i})\right)&=\int _{{\vec {x}}\in \mathbb {R} ^{n}}{\frac {\lVert x\rVert -2x_{i}^{2}}{\lVert {\vec {x}}\rVert ^{4}}}{\frac {1}{(2\pi )^{\frac {n}{2}}}}e^{-{\frac {1}{2}}\lVert {\vec {x}}-{\vec {\mu }}\rVert ^{2}}\mathrm {d} x_{1}\cdots \mathrm {d} x_{n}\\&=\mathbb {E} \left({\frac {\lVert X\rVert ^{2}-2X_{i}^{2}}{\lVert X\rVert ^{4}}}\right)\\&=\mathbb {E} \left({\frac {1}{\lVert X\rVert ^{2}}}\right)-2\mathbb {E} \left({\frac {X_{i}^{2}}{\lVert X\rVert ^{4}}}\right)\end{aligned}}}$

En sommant sur ${\displaystyle i}$, on obtient que

${\displaystyle \mathbb {E} \left((X-{\vec {\mu }})\cdot {\frac {X}{\lVert X\rVert ^{2}}}\right)=(n-2)\mathbb {E} \left({\frac {1}{\lVert X\rVert ^{2}}}\right)}$

Et donc, le risque de l'estimateur de James-Stein est

${\displaystyle n+(n-2)^{2}\mathbb {E} \left({\frac {1}{\lVert X\rVert ^{2}}}\right)-2(n-2)^{2}\mathbb {E} \left({\frac {1}{\lVert X\rVert ^{2}}}\right)=n-(n-2)^{2}\mathbb {E} \left({\frac {1}{\lVert X\rVert ^{2}}}\right)}$

Étant donné que ${\displaystyle \mathbb {E} \left({\frac {1}{\lVert X\rVert ^{2}}}\right)>0}$, on a ainsi que le risque quadratique de l'estimateur de James-Stein est strictement inférieur à celui du maximum de vraisemblance.

On remarque que le risque de l'estimateur de James-Stein ne dépend que la norme de ${\displaystyle {\vec {\mu }}}$, et qu'il atteint sa valeur minimale, 2, lorsque ${\displaystyle {\vec {\mu }}=0}$. En effet, ${\displaystyle {\frac {1}{\lVert X\rVert ^{2}}}}$ suit alors une Loi inverse χ² d'espérance ${\displaystyle n-2}$, donnant alors le risque ${\displaystyle R({\hat {\mu }}_{JS},{\vec {\mu }}=0)=2}$. Pour toute valeur de ${\displaystyle {\vec {\mu }}}$, le gain d'utiliser l'estimateur de James-Stein augmente avec ${\displaystyle n}$.

Summarize Timeline Fact Check

Paradoxe

Ce résultat est qualifié de paradoxe car il serait naturel de s'attendre à ce que l'estimateur du maximum de vraisemblance soit meilleur. En effet, l'estimation de ${\displaystyle \mu _{1}}$ dans l'estimateur de James-Stein utilise toutes les observations, même si ${\displaystyle X_{2},\cdots ,X_{n}}$ ne sont porteurs d'aucune information sur ${\displaystyle \mu _{1}}$ puisque leurs distributions ne dépendent pas de ${\displaystyle \mu _{1}}$et qu'elles sont indépendantes de ${\displaystyle X_{1}}$. Il en va de même pour les estimations de ${\displaystyle \mu _{2},\cdots ,\mu _{n}}$. Les variables aléatoires ${\displaystyle X_{1},\cdots ,X_{n}}$ n'ayant possiblement aucun rapport, il est étrange que la meilleure stratégie ne soit pas d'estimer l'espérance ${\displaystyle \mu _{i}}$ en utilisant uniquement l'observation ${\displaystyle X_{i}}$.

Pour illustrer cela^[4], supposons qu'on s'intéresse à la proportion d'électeurs qui comptent voter pour Trump à une élection, à la proportion de nouveau-nés filles en Chine, et à la proportion de britanniques ayant les yeux bleus. Pour cela, on dispose de trois observations : le résultat d'un sondage électoral, le nombre de filles nées dans un hôpital chinois et le nombre de personnes aux yeux bleus dans une ville anglaise (ces observations sont issues de lois binomiales, mais elles peuvent facilement être approximées, après transformation, par des lois normales). Alors, en utilisant l'estimateur de James-Stein, on estimera en particulier la proportion de votant pour Trump en utilisant le nombre de filles nées dans l'hôpital chinois et le nombre de personnes aux yeux bleus dans la ville anglaise !

Explication

En réalité, il serait peu judicieux d'utiliser l'estimateur de James-Stein dans l'exemple précédent. Cet estimateur a certes le plus petit risque quadratique combiné sur les trois estimations, mais il n'a pas le plus petit risque quadratique pour une estimation particulière. En général, l'estimateur de James-Stein a tendance à dégrader la plupart des estimations mais à en améliorer sensiblement quelques-unes, ces quelques améliorations compensent les dégradations. Dans l'exemple précédent, il est probable que deux des trois estimations soient moins bonnes avec l'estimateur de James-Stein qu'avec le maximum de vraisemblance, mais que la troisième soit suffisamment meilleure pour réduire le risque quadratique total. En pratique, un statisticien intéressé uniquement à la proportion de filles parmi les nouveau-nés en Chine n'aurait très certainement pas intérêt à utiliser cet estimateur comme décrit précédemment, de même pour quelqu'un intéressé uniquement par la proportion d'électeurs de Trump ou uniquement par le nombre de personnes aux yeux bleus. Pour que cet estimateur ait un intérêt, il faut qu'un statisticien soit intéressé simultanément à ces trois estimations, ce qui est peu probable.