Inégalité d'Efron-Stein

L'idée de la preuve est de généraliser le cas où quand ${\displaystyle Z=X_{1}+\dots +X_{n}}$, on a ${\displaystyle \mathrm {Var} (Z)=\sum _{i=1}^{n}\mathrm {Var} (X_{i}).}$^[1]

Si on note ${\displaystyle \mathbb {E} _{(i)}}$ l'espérance conditionnelle conditionnée par rapport à ${\displaystyle (X_{1},\dots ,X_{i})}$ (avec la convention ${\displaystyle \mathbb {E} _{(0)}=\mathbb {E} }$ et que l'on pose

alors ${\displaystyle Z-\mathbb {E} [Z]=\sum _{i=1}^{n}\Delta _{i}.}$

Donc ${\displaystyle \mathrm {Var} (Z)=\mathbb {E} \left[\left(\sum _{i=1}^{n}\Delta _{i}\right)^{2}\right]=\sum _{i=1}^{n}\mathbb {E} [\Delta _{i}^{2}]+2\sum _{i<j}\mathbb {E} [\Delta _{i}\Delta _{j}].}$

Or, si ${\displaystyle i<j,\mathbb {E} _{(i)}[\Delta _{j}]=\mathbb {E} _{(i)}\left[\mathbb {E} _{(j)}[Z]-\mathbb {E_{(j-1)}} [Z]\right]=\mathbb {E} _{(i)}[Z]-\mathbb {E} _{(i)}[Z]=0}$ donc

On a donc à présent que ${\displaystyle \mathrm {Var} (Z)=\sum _{i=1}^{n}\mathbb {E} [\Delta _{i}^{2}]}$.

D'après le théorème de Fubini, ${\displaystyle \mathbb {E} _{(i)}\left[\mathbb {E} ^{(i)}[Z]\right]=\mathbb {E} _{(i-1)}[Z]}$, d'où ${\displaystyle \Delta _{i}=\mathbb {E} _{(i)}\left[Z-\mathbb {E} ^{(i)}[Z]\right]}$. D'après l'inégalité de Jensen,

Finalement, ${\displaystyle \mathrm {Var} (Z)=\sum _{i=1}^{n}\mathbb {E} [\Delta _{i}^{2}]\leq \sum _{i=1}^{n}\mathbb {E} \left[\mathbb {E} _{(i)}\left[\left(Z-\mathbb {E} ^{(i)}[Z]\right)^{2}\right]\right]=\sum _{i=1}^{n}\mathbb {E} \left[\left(Z-\mathbb {E} ^{(i)}[Z]\right)^{2}\right]}$.

Démontrons maintenant l'égalité des termes pour le membre de droite de l'inégalité d'Efron-Stein. Si on note ${\displaystyle \mathrm {Var} ^{(i)}}$ la variance conditionnelle conditionnée par rapport à ${\displaystyle X^{(i)}}$ alors

En utilisant le fait que si ${\displaystyle X}$ et ${\displaystyle Y}$ sont des variables aléatoires réelles indépendantes et identiquement distribuées alors ${\displaystyle \mathrm {Var} (X)={\frac {1}{2}}\mathbb {E} \left[(X-Y)^{2}\right].}$

Or conditionnellement à ${\displaystyle X^{(i)}}$, les variables ${\displaystyle Z}$ et ${\displaystyle Z_{i}'}$ sont indépendantes et identiquement distribuées d'où

La dernière égalité vient du fait que l'on puisse écrire que ${\displaystyle \mathrm {Var} (X)=\inf _{a\in \mathbb {R} }\mathbb {E} [(X-a)^{2}]}$. Donc conditionnellement à ${\displaystyle X^{(i)}}$, on peut écrire que

Une fonction ${\displaystyle f\colon {\mathcal {X}}^{n}\to \mathbb {R} }$ possède la propriété de différences bornées s'il existe des constantes positives ${\displaystyle c_{1},\dots ,c_{n}}$tels que

Si une fonction ${\displaystyle f}$ vérifie cette propriété avec les constantes ${\displaystyle c_{1},\dots ,c_{n}}$, alors d'après l'inégalité d'Efron-Stein^[1] et parce que ${\displaystyle \mathrm {Var} ^{(i)}(Z)\leq \mathbb {E} ^{(i)}\left[(Z-Z_{i})^{2}\right]}$ pour ${\displaystyle Z_{i}={\frac {1}{2}}\left[\sup _{x_{i}'\in {\mathcal {X}}}f(X_{1},\dots ,X_{i-1},x_{i}',X_{i+1},\dots ,X_{n})+\inf _{x_{i}'\in {\mathcal {X}}}f(X_{1},\dots ,X_{i-1},x_{i}',X_{i+1},\dots ,X_{n})\right]}$, on a

On dit qu'une fonction positive ${\displaystyle f:{\mathcal {X}}^{n}\to [0,\infty )}$ est auto-bornée s'il existe des fonctions ${\displaystyle f_{i}:{\mathcal {X}}^{n-1}\to \mathbb {R} }$ tels que pour tout ${\displaystyle x_{1},\dots ,x_{n}\in {\mathcal {X}}}$ et tout ${\displaystyle i=1,\dots ,n}$,

et

D'après l'inégalité d'Efron-Stein, toute fonction ${\displaystyle f}$ auto-bornée vérifie ${\displaystyle \mathrm {Var} (f(X_{1},\dots ,X_{n}))\leq \mathbb {E} [f(X_{1},\dots ,X_{n})]}$.

• Portail des probabilités et de la statistique