Réduction de la variance

Il existe plusieurs méthodes pour réduire la variance de l'estimateur^[1],[2]:

• Variable antithétique : on introduit une seconde variable aléatoire très fortement négativement corrélée avec la première, permettant de réduire la variance. L'élément clef est la formule suivante, valable pour deux variables ${\displaystyle X,Y}$:

${\displaystyle \operatorname {Var} (X+Y)=\operatorname {Var} (X)+\operatorname {Var} (Y)+2\operatorname {Cov} (X,Y)}$

• Variable de contrôle : on introduit une variable tierce, dite variable de contrôle, et on construit une nouvelle classe d'estimateurs, dépendant d'un paramètre c. On cherche la valeur du paramètre c permettant de réaliser une réduction de variance, par rapport à l'estimation Monte-Carlo de base ;

• L'échantillonnage préférentiel (ou importance sampling en anglais) : lors du tirage de données aléatoires, certaines valeurs ont plus d'importance que d'autres dans l'évaluation de l'espérance/intégrale. L'idée est donc d'abandonner l'échantillonnage uniforme (selon la loi uniforme continue) pour un échantillonnage selon une autre loi, plus appropriée.

• Le conditionnement statistique : en partant de la formule de la variance totale

${\displaystyle \operatorname {Var} (X)=\mathbb {E} \left[\operatorname {Var} (X|Z)\right]+\operatorname {Var} \left[\mathbb {E} (X|Z)\right]}$

on peut en déduire que, pour une variable Z bien choisie, on a un meilleur estimateur en utilisant ${\displaystyle \mathbb {E} (X|Z)}$ plutôt que ${\displaystyle \mathbb {E} (X)}$, en effet, on aurait dans ce cas une espérance égale (par le théorème de l'espérance totale) mais une variance moindre :

${\displaystyle \mathbb {E} \left[\mathbb {E} (X|Z)\right]=\mathbb {E} (X)\quad {\text{ et }}\quad \operatorname {Var} \left[\mathbb {E} (X|Z)\right]\leqslant \operatorname {Var} (X)}$

• La stratification : on partitionne le domaine d'intégration en sous-domaines, et on introduit les lois de probabilités conditionnelles selon le sous-domaine, en cherchant à minimiser la variance induite

On considère U₁ et U₂ deux variables aléatoires iid suivant une loi uniforme sur [0 ; 1], dont on déduit V₁ = 2U₁ – 1, V₂ = 2U₂ – 1, qui sont alors iid suivant une loi uniforme sur [–1 ; 1], et on pose enfin la variable X la variable qui vaut 1 si le couple (V₁,V₂) est dans le cercle centré en (0 ; 0) et de rayon 1, et 0 sinon. Alors :

${\displaystyle \mathbb {E} (X)={\frac {{\mathcal {A}}_{\text{cercle}}}{{\mathcal {A}}_{\text{carré}}}}={\frac {\pi }{4}}.}$

Une façon de réduire la variance est d'utiliser le conditionnement par V₁. En effet,

${\displaystyle \mathbb {E} (X\mid V_{1})=\mathbb {P} (V_{1}^{2}+V_{2}^{2}\leqslant 1\mid V_{1})=\mathbb {P} \left(|V_{2}|\leqslant {\sqrt {1-V_{1}^{2}}}\right)={\sqrt {1-V_{1}^{2}}}.}$

d'où :

${\displaystyle {\begin{aligned}\mathbb {E} (X)&=&\mathbb {E} \left[\mathbb {E} (X\mid V_{1})\right]&=&\mathbb {E} ({\sqrt {1-V_{1}^{2}}})\\&=&\int _{-1}^{1}{\sqrt {1-v^{2}}}\times {\frac {1}{2}}\,\mathrm {d} v&=&\int _{0}^{1}{\sqrt {1-u^{2}}}\,\mathrm {d} u\\&=&\mathbb {E} ({\sqrt {1-U^{2}}}),\ u\sim {\mathcal {U}}([0;1]).\end{aligned}}}$

Ainsi, pour estimer la valeur de π/4, on peut préférer effectuer une série de n tirages uniformes U₍₁₎, ... , U_(n) et calculer ${\textstyle {\frac {1}{n}}\left({\sqrt {1-U_{(1)}^{2}}}+\ldots +{\sqrt {1-U_{(n)}^{2}}}\right)}$, plutôt que la méthode de Monte-Carlo intuitive, qui consiste en un tirage de couples de variables uniformes. Dans cet exemple, on peut même remarquer que ${\textstyle x\mapsto {\sqrt {1-x^{2}}}}$ est paire, donc on peut le cumuler avec un tirage antithétique, qui permet encore de diviser par 2 le nombre de tirages.

• (en) Sheldon Ross, A First Course in Probability, 8, 2002, 449-453 p. (lire en ligne)
• (en) Harald Cramér, Mathematical Methods of Statistics, Princeton University Press, 1999 (JSTOR j.ctt1bpm9r4, lire en ligne), chap. 27 (« Characteristics of sample distributions »)

• Portail des probabilités et de la statistique
• Portail de la physique