Entropie de Hartley

La fonction de Hartley ne dépend que du nombre d'éléments dans l'ensemble, et peut donc être vue comme une fonction sur les entiers naturels. Rényi a montré que la fonction Hartley en base 2 est la seule fonction transformant les entiers naturels en nombres réels qui satisfait:

1. ${\displaystyle H(mn)=H(m)+H(n)}$ (additivité)
2. ${\displaystyle H(m)\leq H(m+1)}$ (monotone)
3. ${\displaystyle H(2)=1}$ (normalisation)

La condition 1 dit que l'incertitude d'un produit cartésien de deux ensembles fini A et B est la somme des incertitudes de A et B. La condition 2 dit qu'un ensemble plus grand a une plus grande incertitude.

Nous cherchons à montrer que la fonction de Hartley, log₂(n), est la seule fonction transformant les entiers naturels en nombres réels vérifiant les propriétés suivantes :

1. ${\displaystyle H(mn)=H(m)+H(n)\,}$ (additivité)
2. ${\displaystyle H(m)\leq H(m+1)\,}$ (monotonie)
3. ${\displaystyle H(2)=1\,}$ (normalisation)

Soit ƒ une fonction sur les entiers naturels qui satisfait les 3 propriétés ci-dessus. D'après la propriété d'additivité, nous pouvons montrer que pour tous les entiers n et k,

${\displaystyle f(n^{k})=kf(n)\qquad (1)\,}$

Soit a, b, et t des entiers naturels. Un seul entier s vérifie

${\displaystyle a^{s}\leq b^{t}\leq a^{s+1}.}$

Ainsi,

${\displaystyle s\log _{2}a\leq t\log _{2}b\leq (s+1)\log _{2}a\,}$

et

${\displaystyle {\frac {s}{t}}\leq {\frac {\log _{2}b}{\log _{2}a}}\leq {\frac {s+1}{t}}.}$

De plus, par la propriété de monotonie,

${\displaystyle f(a^{s})\leq f(b^{t})\leq f(a^{s+1}).\,}$

En utilisant l'équation (1), on trouve

${\displaystyle sf(a)\leq tf(b)\leq (s+1)f(a),\,}$

et

${\displaystyle {\frac {s}{t}}\leq {\frac {f(a)}{f(b)}}\leq {\frac {s+1}{t}}.}$

Ainsi,

${\displaystyle \left|{\frac {f(a)}{f(b)}}-{\frac {\log _{2}(a)}{\log _{2}(b)}}\right|\leq {\frac {1}{t}}.}$

Comme t peut être choisi arbitrairement grand, la valeur à gauche de l'inégalité doit être 0,

${\displaystyle {\frac {f(a)}{f(b)}}={\frac {\log _{2}(a)}{\log _{2}(b)}}.}$

Alors,

${\displaystyle f(a)=\mu \log _{2}(a)\,}$

à une constante près μ, qui doit être égale à 1 d'après la propriété de normalisation.

• Entropie de Rényi

• Portail des mathématiques