Au cœur de l’entraînement de modèles comme Gemini, Llama ou GPT se trouve une notion empruntée à la théorie de l’information : l’entropie croisée. Un article publié par Machine Learning Mastery montre comment ce concept, lié à la mesure de l’incertitude, permet d’expliquer la façon dont les grands modèles de langage (LLM) apprennent à prédire le mot suivant.
Mesurer la surprise
L’entropie de l’information est née en 1948, avec les travaux de Claude Shannon. Elle sert à mesurer l’incertitude, ou la « surprise », contenue dans une distribution de probabilités. L’article prend l’exemple de deux dés. Le premier est parfaitement équilibré : chaque lancer est imprévisible, et l’entropie est élevée. Le second est fortement pondéré pour tomber sur la face 6 : le résultat surprend rarement, et l’entropie est faible. La formule utilisée est la suivante : H(P) = – Σ P(x) log₂ P(x). Elle atteint son maximum lorsque toutes les probabilités sont égales, c’est-à-dire pour une distribution uniforme comme celle du premier dé. Plus quelques issues se détachent des autres, plus l’entropie diminue.
Quand le modèle devine le mot suivant
Un LLM génère un texte mot après mot, ou plus exactement token après token, un token étant une unité de texte que le modèle manipule. À chaque étape, sa couche finale attribue une probabilité à chaque élément de son vocabulaire, qui compte généralement plusieurs dizaines de milliers de mots. Si le modèle hésite, la distribution est étalée et l’entropie est élevée. S’il est très sûr de lui, il attribue une probabilité très forte à un mot précis, par exemple « tatami » dans la phrase « the cat sat on the… », et l’entropie est faible. C’est là qu’intervient l’entropie croisée, la fonction de perte utilisée pour guider l’entraînement. Elle compare la distribution prédite par le modèle à la distribution réelle, qui attribue 100 % au mot effectivement observé et 0 % à tous les autres. Minimiser cette valeur revient à faire progressivement converger la confiance du modèle vers les bons mots. L’article souligne que ce processus, répété sur des millions ou des milliards d’exemples, permet au modèle d’apprendre à produire des réponses cohérentes.
Un exemple en Python
L’article propose un script léger, qui ne charge aucun LLM réel mais illustre le fonctionnement de l’entropie croisée. Le vocabulaire se limite à cinq mots : « apple », « banana », « cat », « dog » et « elephant ». Le mot cible est « cat ». Trois prédictions sont comparées : « Confident & Correct », qui attribue 0,90 à « cat » ; « Confident & Wrong », qui donne 0,80 à « apple » ; et « Uncertain (Flat) », qui répartit la probabilité à égalité entre les cinq mots, soit 0,20 chacun. Les résultats sont affichés sous forme de graphiques à barres interactifs avec la bibliothèque Plotly. Selon l’auteur, la troisième prédiction correspond à l’entropie maximale, car le modèle est totalement incertain. La deuxième, bien que très sûre d’elle, se trompe, ce qui se traduit par une entropie croisée élevée. L’article rappelle que ces deux situations, l’incertitude et l’erreur, sont traitées simultanément lorsqu’on cherche à réduire l’entropie croisée pendant l’entraînement.
