Divergence de Kullback-Leibler

On considère deux distributions de probabilités, notées P et Q. Typiquement, P représente les données, les observations, ou une distribution de probabilités calculée avec précision, tandis que la distribution Q représente typiquement une théorie, un modèle, une description ou une approximation de P. La divergence de Kullback-Leibler s'interprète comme la différence moyenne du nombre de bits nécessaires au codage d'échantillons de P en utilisant un code optimisé pour Q plutôt que le code optimisé pour P.

Il existe plusieurs définitions selon les hypothèses sur les distributions de probabilités.

Kullback^[4] donne l'exemple suivant (Table 2.1, Example 2.1). Soit P et Q les distributions données dans la table et la figure. P est la distribution sur la partie gauche de la figure, il s'agit d'une distribution binomiale avec N = 2 et p = 0,4. Q est la distribution de la partie droite de la figure, une distribution uniforme discrète avec trois valeurs x = 0, 1 ou 2, chacune de probabilité p = 1/3.

Le tableau suivant donne les fonctions de masse des distributions P et Q. Par exemple, pour la distribution P, la probabilité d'avoir la valeur 1 est 0,48.

La divergence KL est calculée comme suit. On utilise le logarithme naturel.

${\displaystyle {\begin{aligned}D_{\text{KL}}(Q\parallel P)&=\sum _{x\in X}Q(x)\ln \left({\frac {Q(x)}{P(x)}}\right)\\[6pt]&=0,333\ln \left({\frac {0,333}{0,36}}\right)+0,333\ln \left({\frac {0,333}{0,48}}\right)+0,333\ln \left({\frac {0,333}{0,16}}\right)\\[6pt]&=-0,02596+(-0,12176)+0,24408\\[6pt]&=0,09637\end{aligned}}}$

Positivité

${\displaystyle D_{\mathrm {KL} }(P\|Q)\geq 0}$

Égalité presque sûre

${\displaystyle P\;{\stackrel {p.s.}{=}}\;Q}$ ssi ${\displaystyle D_{\mathrm {KL} }(P\|Q)=0}$

Additivité

Soit deux distributions séparables ${\displaystyle P_{12}(x_{1},x_{2})=P_{1}(x_{1}).P_{2}(x_{2})}$ et ${\displaystyle Q_{12}(x_{1},x_{2})=Q_{1}(x_{1}).Q_{2}(x_{2})}$

${\displaystyle D(P_{12}\|Q_{12})=D(P_{1}\|Q_{1})+D(P_{2}\|Q_{2})}$

• Dans le formalisme de la géométrie de l'information développé par S.Amari^[5], la divergence de Kullback-Leibler est la divergence associée à deux connexions affines duales fondamentales : la connexion m (mélange, combinaison additive des distributions) et la connexion e (exponentielle, combinaison multiplicative des distributions). La divergence de Kullback-Leibler obéit localement à la métrique de Fisher et correspond à l'intégration de la distance entre deux points (distributions) le long d'une géodésique de type e ou m (selon que l'on considère un sens ou l'autre : ${\displaystyle D(P\|Q)}$ ou ${\displaystyle D(Q\|P)}$).^{[citation nécessaire]}
• La distance symétrique (induite par la connexion de Levi-Civita, autoduale) associée à la métrique de Fisher est la distance de Hellinger ${\displaystyle D_{H}(P\|Q)=2\sum _{i}\left({\sqrt {P_{i}}}-{\sqrt {Q_{i}}}\right)^{2}.}$

Bien que perçue souvent comme une distance, elle n'en remplit pas les conditions : elle n'est pas symétrique et ne respecte pas l'inégalité triangulaire.

La divergence de Kullback-Leibler entre dans la catégorie plus large des f-divergences, introduite indépendamment par Csiszár^[6] en 1967 et par Ali et Silvey^[7] en 1966. Par son appartenance à cette famille, elle respecte des propriétés de conservation de l'information : invariance, monotonicité^[8].

De manière complémentaire, la divergence de Kullback-Leibler est également une divergence de Bregman^[9], associée à la fonction potentiel ${\displaystyle \psi (x)=x\log x-x}$. La conséquence est que cette divergence, par transformation de Legendre de ${\displaystyle \psi }$ est associée à un couple dual de système de coordonnées ${\displaystyle (x,\log x)}$ permettant de représenter les distributions de la famille exponentielle.