Entropie (informatique)

L'entropie en théorie de l'information, également appelée entropie de Shannon, est une mesure de l'incertitude ou du hasard d'une variable aléatoire. Plus l'entropie d'une source d'information est élevée, plus le message est imprévisible, et donc plus il contient d'information. Le concept a été introduit par le mathématicien Claude Shannon en 1948 dans le cadre de la théorie de la communication^[1].

Les sources d'entropie les plus couramment utilisées incluent la souris, le clavier, la durée de mise sous tension du calculateur, les générateurs de nombre pseudo aléatoire et de nombreuses autres sources potentielles comme la programmation procédurale.

L'entropie de Shannon est la limite théorique de la compression sans perte. Un fichier ne peut pas être compressé en dessous de son entropie. Des algorithmes comme le codage de Huffman ou le codage arithmétique exploitent les fréquences des symboles pour s'approcher de cette limite^[2].

L'entropie est utilisée pour mesurer la force d'un mot de passe ou d'une clé cryptographique^[3]. Une clé générée de manière véritablement aléatoire (qui ne peut être prédite) possède une entropie maximale^[4]. Par exemple, une clé de 128 bits, générée aléatoirement, a une entropie de 128 bits, ce qui rend une attaque par force brute impraticable.^{[réf. souhaitée]}

Un bon générateur de nombres aléatoires doit produire des nombres avec une distribution aussi proche que possible d'une distribution uniforme, c'est-à-dire avec une entropie maximale^[3]. L'entropie est un critère de qualité pour ces générateurs.