Divergence (statistiques)

Soit ${\displaystyle M}$ une variété topologique et ${\displaystyle V\subseteq \mathbb {R} ^{n}}$ une carte locale. Une divergence est une fonction ${\displaystyle D:V\times V\rightarrow \mathbb {R} _{+}}$ (également définie sur ${\displaystyle M}$ au moyen de l'homéomorphisme associé), différentiable jusqu'à l'ordre 3 et satisfaisant les propriétés suivantes^[2] :

• ${\displaystyle D(\xi _{p},\xi _{q})\geq 0\,\forall \,\xi _{p},\xi _{q}\in V}$ ;
• ${\displaystyle D(\xi _{p},\xi _{q})=0\,ssi\,\xi _{p}=\xi _{q}}$ ;
• Le développement limité de ${\displaystyle D}$ en ${\displaystyle \xi _{p}}$ s'écrit :

${\displaystyle D(\xi _{p},\xi _{p}+d\xi )={\frac {1}{2}}\sum g_{ij}(\xi _{p})d\xi _{i}d\xi _{j}+O(|d\xi |^{3})}$

où ${\displaystyle G(\xi _{p})=(g_{ij}(\xi _{p}))_{(1\leq i,j\leq n)}}$ est définie positive.

Les notations ${\displaystyle D(\cdot ||\cdot )}$ ou ${\displaystyle D[\cdot$ :\cdot ]} peuvent également être employées.

Pour une divergence ${\displaystyle D}$ donnée, il est parfois intéressant d'introduire la divergence symétrique ${\displaystyle D_{S}}$ associée : ${\displaystyle D_{s}(p,q)=(D(p,q)+D(q,p))/2}$.

Il existe une grande variété de divergences, dont entre autres :

• La divergence euclidéenne, définie comme la moitié de la racine de la distance euclidéenne ;
• La divergence de Kullback-Leibler, qui est la seule à appartenir à la fois aux classes des f-divergences et des divergences de Bregman ;
• Parmi les autres f-divergences :
  • Les ${\displaystyle \alpha }$-divergences,
  • La distance de Hellinger ;
• Autres divergences de Bregman :
  • Les ${\displaystyle \beta }$-divergences,
  • Les ${\displaystyle \gamma }$-divergences,
  • La divergence d'Itakura-Saito.

Pour une bibliographie détaillée, voir Basseville 2013.

• (en) Shun-ichi Amari (trad. du japonais), Information Geometry and Its Applications, Springer, coll. « Applied Mathematical Science », 2016, 364 p. (ISBN 978-4-431-55977-1 et 978-4-431-55978-8, ISSN 0066-5452 et 2196-968X)
• (en) Michèle Basseville, « Divergence measures for statistical data processing — An annotated bibliography », Signal Processing, Elsevier, vol. 93, n^o 4,‎ 2013, p. 621-633

• Portail des probabilités et de la statistique