Identités de Bartlett

Considérons un modèle statistique générant des données réelles suivant une distribution de probabilité dépendant d'un paramètre ${\displaystyle \theta }$ sur lequel on souhaite faire de l'inférence. Notons ${\displaystyle \Theta }$ l'espace des paramètres et ${\displaystyle \{f_{\theta }\mid \theta \in \Theta \}}$ la famille des densités de probabilités associée au modèle. Puisque ${\displaystyle f_{\theta }}$ est une densité de probabilité, son intégrale sur ${\displaystyle \mathbb {R} }$ doit être égale à 1: ${\displaystyle \int _{\mathbb {R} }f_{\theta }(x)dx=1}$.

Différencier cette égalité par rapport à ${\displaystyle \theta }$ permet d'obtenir de nouvelles relations. Le terme de droite étant égal à 1, ses différentielles sont toutes nulles. Le terme de gauche est une intégrale paramétrique et il est souvent possible (sous certaines hypothèses qui doivent être soigneusement vérifiées) d'intervertir intégral et dérivée, de sorte que ${\displaystyle {\frac {\partial ^{k}}{\partial \theta ^{k}}}\int _{\mathbb {R} }f_{\theta }(x)dx=\int _{\mathbb {R} }{\frac {\partial ^{k}}{\partial \theta ^{k}}}f_{\theta }(x)dx}$. On obtient alors que pour tout ${\displaystyle k\in \mathbb {N} ^{*}}$, ${\displaystyle \int _{\mathbb {R} }{\frac {\partial ^{k}}{\partial \theta ^{k}}}f_{\theta }(x)dx=0}$.

Ces relations donnent les identités de Bartlett lorsqu'on développe la dérivée ${\displaystyle k}$-ième. Elles sont généralement exprimées en utilisant la log-vraisemblance ${\displaystyle \log(f_{\theta })}$ et ses dérivées^[1].

Reprenons les notations précédentes et supposons qu'il est possible d'intervertir dérivée et intégrale pour différencier l'égalité ${\displaystyle \int f_{\theta }(x)dx=1}$. Pour raccourcir les notations, notons ${\displaystyle l_{\theta }(x)=\log(f_{\theta }(x))}$ la log-vraisemblance du modèle.

On obtient alors que${\displaystyle \int {\frac {\partial }{\partial \theta }}f_{\theta }(x)dx=0}$. En remarquant que ${\displaystyle {\frac {1}{f_{\theta }(x)}}{\frac {\partial f_{\theta }}{\partial \theta }}={\frac {\partial l_{\theta }}{\partial \theta }}(x)}$, cette égalité peut se réécrire ${\displaystyle \int {\frac {\partial l_{\theta }}{\partial \theta }}(x)f_{\theta }(x)dx=0}$.

Comme cette dernière intégrale correspond à l'espérance de ${\displaystyle {\frac {\partial l_{\theta }}{\partial \theta }}(X)}$ lorsque ${\displaystyle X}$ est distribuées selon ${\displaystyle f_{\theta }}$, la première identité de Bartlett s'écrit

${\displaystyle \mathbb {E} \left[{\frac {\partial l_{\theta }}{\partial \theta }}(X)\right]=0}$

où l'espérance est prise sur une variable aléatoire dont la loi a pour densité ${\displaystyle f_{\theta }}$.

La fonction ${\displaystyle {\frac {\partial l_{\theta }}{\partial \theta }}(x)}$, souvent appelée fonction score, joue un rôle crucial dans l'estimation et les tests statistiques. La première identité de Bartlett indique que le score est d'espérance nulle. Cela garantie entre autres que l'estimateur du maximum de vraisemblance associé est convergent au sens de Fisher.

Reprenons la première identité de Bartlett sous sa forme intégrale : ${\displaystyle \int {\frac {\partial l_{\theta }}{\partial \theta }}(x)f_{\theta }(x)dx=0}$ et différencions la par rapport à ${\displaystyle \theta }$ en supposant, encore une fois, qu'il est possible d'intervertir dérivée et intégrale. Supposons que ${\displaystyle \theta }$ est réel, on obtient alors

${\displaystyle \int \left({\frac {\partial ^{2}l_{\theta }}{\partial \theta ^{2}}}(x)f_{\theta }(x)+{\frac {\partial l_{\theta }}{\partial \theta }}(x){\frac {\partial }{\partial \theta }}f_{\theta }(x)\right)dx=0}$.

Séparons l'intégrale en deux et en réutilisons le fait que ${\displaystyle {\frac {1}{f_{\theta }(x)}}{\frac {\partial f_{\theta }}{\partial \theta }}={\frac {\partial l_{\theta }}{\partial \theta }}(x)}$ pour arriver à l'égalité suivante:

${\displaystyle \int {\frac {\partial ^{2}l_{\theta }}{\partial \theta ^{2}}}(x)f_{\theta }(x)dx=-\int \left({\frac {\partial l_{\theta }}{\partial \theta }}(x)\right)^{2}f_{\theta }(x)dx}$.

Les deux termes de cette égalités correspondent à des espérances. Le terme de gauche est l'espérance de ${\displaystyle {\frac {\partial ^{2}l_{\theta }}{\partial \theta ^{2}}}(X)}$ lorsque ${\displaystyle X}$ a pour densité ${\displaystyle f_{\theta }}$, et le terme de droite est l'espérance de ${\displaystyle \left({\frac {\partial l_{\theta }}{\partial \theta }}(X)\right)^{2}}$. Cette espérance correspond à la variance du score ${\displaystyle {\frac {\partial l_{\theta }}{\partial \theta }}(X)}$ puisque, d'après la première identité de Bartlett, ce dernier est d'espérance nulle. La deuxième identité de Bartlett peut donc s'écrire :

${\displaystyle \mathrm {var} \left[{\frac {\partial l_{\theta }}{\partial \theta }}(X)\right]=-\mathbb {E} \left[{\frac {\partial l_{\theta }^{2}}{\partial \theta ^{2}}}(X)\right]}$

Où l'espérance et la variance sont prises sur une variable aléatoire ${\displaystyle X}$ ayant pour densité ${\displaystyle f_{\theta }}$.

Cette identité reste vraie lorsque ${\displaystyle \theta }$ est un vecteur. La variance est simplement remplacée par la matrice de variance-covariance, et la dérivée partielle seconde par rapport à ${\displaystyle \theta }$ de ${\displaystyle \mathrm {log} \left(f_{\theta }(x)\right)}$ par sa matrice hessienne.

La quantité ${\displaystyle \mathrm {var} \left[{\frac {\partial }{\partial \theta }}l_{\theta }(X)\right]}$ (ou la matrice dans le cas multivarié), généralement notée ${\displaystyle I(\theta )}$, est l'information de Fisher du modèle et joue un rôle important en statistique. Elle permet, entre autres, de calculer la borne de Cramér-Rao ou la loi a loi a priori de Jeffreys (en) en statistiques Bayésiennes. La seconde identité de Bartlett donne un moyen alternatif de calculer cette information de Fisher en utilisant la dérivée seconde de la log-vraisemblance, ce qui est parfois plus simple que de calculer la variance du score ${\displaystyle {\frac {\partial }{\partial \theta }}l_{\theta }(X)}$.

En dérivant la seconde identité de Bartlett par rapport à ${\displaystyle \theta }$, on obtient, après quelques simplifications, la troisième identité de Bartlett:

${\displaystyle \mathbb {E} \left[\left({\frac {\partial }{\partial \theta }}\log(f_{\theta }(X))\right)^{3}\right]=3{\frac {\partial I}{\partial \theta }}(\theta )+2\mathbb {E} \left[{\frac {\partial ^{3}}{\partial \theta ^{3}}}\log(f_{\theta }(X))\right]}$

où ${\displaystyle I(\theta )=\mathrm {var} \left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(X))\right]=-\mathbb {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log(f_{\theta }(X))\right]}$est l'information de Fisher.

Une différentiation supplémentaire donne la quatrième identité de Bartlett:

${\displaystyle \mathbb {E} \left[\left({\frac {\partial l_{\theta }}{\partial \theta }}(X)\right)^{4}\right]-3I(\theta )^{2}=6{\frac {\partial ^{2}I}{\partial \theta ^{2}}}(\theta )+8{\frac {\partial }{\partial \theta }}\mathbb {E} \left[{\frac {\partial ^{3}l_{\theta }}{\partial \theta ^{3}}}(X)\right]-3\mathbb {E} \left[{\frac {\partial ^{4}l_{\theta }}{\partial \theta ^{4}}}(X)\right]+3\mathrm {var} \left[{\frac {\partial ^{2}l_{\theta }}{\partial \theta ^{2}}}(X)\right]}$.