Forscher erklären, wie man die Informationsentropie in Sprachmodellen visualisiert

Forscher erklären, wie man die Informationsentropie in Sprachmodellen visualisiert
2 Minuten Lesezeit

Im Zentrum des Trainings von Modellen wie Gemini, Llama oder GPT steht ein aus der Informationstheorie entliehenes Konzept: die Kreuzentropie. Ein Artikel von Machine Learning Mastery zeigt, wie dieses Konzept, das mit der Messung von Unsicherheit verbunden ist, erklärt, wie große Sprachmodelle (LLM) lernen, das nächste Wort vorherzusagen.

Die Überraschung messen

Die Informationsentropie entstand 1948 mit den Arbeiten von Claude Shannon. Sie dient dazu, die Unsicherheit oder „Überraschung » in einer Wahrscheinlichkeitsverteilung zu messen. Der Artikel nimmt das Beispiel zweier Würfel. Der erste ist perfekt ausbalanciert: Jeder Wurf ist unvorhersehbar und die Entropie ist hoch. Der zweite ist stark gewichtet, um auf die Seite 6 zu fallen: Das Ergebnis überrascht selten und die Entropie ist niedrig. Die verwendete Formel lautet: H(P) = – Σ P(x) log₂ P(x). Sie erreicht ihr Maximum, wenn alle Wahrscheinlichkeiten gleich sind, also bei einer gleichmäßigen Verteilung wie beim ersten Würfel. Je mehr sich einige Ergebnisse von den anderen abheben, desto mehr sinkt die Entropie.

Wenn das Modell das nächste Wort errät

Ein LLM erzeugt Text Wort für Wort, oder genauer Token für Token, wobei ein Token eine Texteinheit ist, die das Modell verarbeitet. In jedem Schritt weist seine letzte Schicht jedem Element seines Vokabulars, das in der Regel mehrere Zehntausend Wörter umfasst, eine Wahrscheinlichkeit zu. Wenn das Modell unsicher ist, ist die Verteilung breit gestreut und die Entropie ist hoch. Wenn es sich sehr sicher ist, weist es einem bestimmten Wort eine sehr hohe Wahrscheinlichkeit zu, zum Beispiel „tatami » im Satz „the cat sat on the… », und die Entropie ist niedrig. Hier kommt die Kreuzentropie ins Spiel, die Verlustfunktion, die zur Steuerung des Trainings verwendet wird. Sie vergleicht die vom Modell vorhergesagte Verteilung mit der tatsächlichen Verteilung, die dem tatsächlich beobachteten Wort 100 % und allen anderen 0 % zuweist. Diesen Wert zu minimieren bedeutet, das Vertrauen des Modells schrittweise auf die richtigen Wörter konvergieren zu lassen. Der Artikel betont, dass dieser Prozess, der über Millionen oder Milliarden von Beispielen wiederholt wird, es dem Modell ermöglicht, zu lernen, kohärente Antworten zu erzeugen.

Ein Beispiel in Python

Der Artikel bietet ein leichtes Skript an, das kein echtes LLM lädt, aber die Funktionsweise der Kreuzentropie veranschaulicht. Das Vokabular ist auf fünf Wörter beschränkt: „apple », „banana », „cat », „dog » und „elephant ». Das Zielwort ist „cat ». Drei Vorhersagen werden verglichen: „Confident & Correct », die „cat » 0,90 zuweist; „Confident & Wrong », die „apple » 0,80 gibt; und „Uncertain (Flat) », die die Wahrscheinlichkeit gleichmäßig auf die fünf Wörter verteilt, also jeweils 0,20. Die Ergebnisse werden als interaktive Balkendiagramme mit der Bibliothek Plotly angezeigt. Laut Autor entspricht die dritte Vorhersage der maximalen Entropie, da das Modell völlig unsicher ist. Die zweite, obwohl sehr selbstsicher, liegt falsch, was sich in einer hohen Kreuzentropie niederschlägt. Der Artikel erinnert daran, dass diese beiden Situationen, Unsicherheit und Fehler, gleichzeitig behandelt werden, wenn man während des Trainings die Kreuzentropie reduzieren möchte.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x