Entropie

L'entropie est une mesure du désordre ou de l'imprévisibilité d'une source : plus elle est élevée, plus le résultat produit est difficile à prévoir. Elle ne décrit pas un événement isolé, mais la quantité d'incertitude que renferme une source avant que l'on n'en observe le résultat.

Une image utile consiste à comparer deux questions auxquelles on devrait répondre par oui ou non. Une question dont on connaît déjà la réponse n'apporte aucune information : l'incertitude est nulle. Une question dont les deux réponses sont également plausibles maintient l'incertitude maximale. L'entropie mesure précisément ce volume d'inconnu, c'est-à-dire combien de questions il faudrait poser pour lever le doute.

Le principe se vérifie sur des exemples simples. Une pièce parfaitement équilibrée possède plus d'entropie qu'une pièce truquée qui retombe presque toujours sur la même face, car son résultat est plus difficile à anticiper. Un dé à vingt faces en possède davantage qu'une pièce, parce qu'il offre bien plus d'issues également possibles. À l'extrême, une source totalement prévisible, dont on connaît d'avance le résultat, a une entropie nulle.

Une confusion répandue consiste à assimiler entropie et simple grand nombre de résultats. Ce qui compte n'est pas seulement le nombre d'issues, mais leur équilibre. Un dé pipé à vingt faces qui retombe presque toujours sur le même chiffre offre, malgré ses nombreuses faces, beaucoup moins d'entropie qu'une simple pièce honnête, car son comportement est en réalité bien plus prévisible.

En informatique, cette notion est concrète et décisive. Pour produire un hasard de qualité, un générateur a besoin d'être initialisé à partir d'une source d'entropie réelle, imprévisible et difficile à deviner. C'est cette matière première d'incertitude qui fait la différence entre un tirage solidement imprévisible et une suite que l'on pourrait reconstituer, et donc ce qui garantit l'équité des outils de hasard du site.