In de kern van het trainen van modellen zoals Gemini, Llama of GPT ligt een begrip ontleend aan de informatie-theorie: de kruisingsentropie. Een artikel gepubliceerd door Machine Learning Mastery laat zien hoe dit concept, gerelateerd aan het meten van onzekerheid, verklaart hoe grote taalmodelen (LLM’s) leren om het volgende woord te voorspellen.
De verrassing meten
De informatie-entropie ontstond in 1948, met het werk van Claude Shannon. Het dient om de onzekerheid, of de ‘verrassing’, in een kansverdeling te meten. Het artikel neemt het voorbeeld van twee dobbelstenen. De eerste is perfect uitgebalanceerd: elke worp is onvoorspelbaar en de entropie is hoog. De tweede is sterk gewogen om op zijde 6 te vallen: het resultaat verrast zelden, en de entropie is laag. De gebruikte formule is: H(P) = – Σ P(x) log₂ P(x). Deze bereikt zijn maximum wanneer alle kansen gelijk zijn, dat wil zeggen voor een uniforme verdeling zoals die van de eerste dobbelsteen. Hoe meer enkele uitkomsten zich van de anderen onderscheiden, hoe meer de entropie afneemt.
Wanneer het model het volgende woord raadt
Een LLM genereert tekst woord voor woord, of preciezer token voor token, waarbij een token een tekstuele eenheid is die het model manipuleert. Bij elke stap kent zijn laatste laag een kans toe aan elk element van zijn vocabulaire, dat meestal enkele tienduizenden woorden telt. Als het model aarzelt, is de verdeling gespreid en is de entropie hoog. Als het zeer zeker is, kent het een zeer hoge kans toe aan een specifiek woord, bijvoorbeeld ‘tatami’ in de zin ‘the cat sat on the…’, en is de entropie laag. Hier komt de kruisingsentropie in beeld, de verliesfunctie die wordt gebruikt om de training te sturen. Deze vergelijkt de door het model voorspelde verdeling met de werkelijke verdeling, die 100% toekent aan het daadwerkelijk waargenomen woord en 0% aan alle andere. Het minimaliseren van deze waarde komt neer op het geleidelijk laten convergeren van het vertrouwen van het model naar de juiste woorden. Het artikel benadrukt dat dit proces, herhaald over miljoenen of miljarden voorbeelden, het model leert om coherente antwoorden te produceren.
Een voorbeeld in Python
Het artikel stelt een lichtgewicht script voor, dat geen echt LLM laadt maar het functioneren van kruisingsentropie illustreert. Het vocabulaire is beperkt tot vijf woorden: ‘apple’, ‘banana’, ‘cat’, ‘dog’ en ‘elephant’. Het doelwoord is ‘cat’. Drie voorspellingen worden vergeleken: ‘Confident & Correct’, die 0,90 toekent aan ‘cat’; ‘Confident & Wrong’, die 0,80 geeft aan ‘apple’; en ‘Uncertain (Flat)’, die de kans gelijk verdeelt over de vijf woorden, dus 0,20 elk. De resultaten worden weergegeven als interactieve staafdiagrammen met de bibliotheek Plotly. Volgens de auteur komt de derde voorspelling overeen met de maximale entropie, omdat het model volledig onzeker is. De tweede, hoewel zeer zeker van zichzelf, zit ernaast, wat zich vertaalt in een hoge kruisingsentropie. Het artikel herinnert eraan dat deze twee situaties, onzekerheid en fout, gelijktijdig worden behandeld wanneer men probeert de kruisingsentropie tijdens de training te verminderen.
