W sercu trenowania modeli takich jak Gemini, Llama czy GPT leży pojęcie zapożyczone z teorii informacji: entropia krzyżowa. Artykuł opublikowany przez Machine Learning Mastery pokazuje, jak ta koncepcja, związana z pomiarem niepewności, pozwala wyjaśnić sposób, w jaki duże modele językowe (LLM) uczą się przewidywać następne słowo.
Mierzenie zaskoczenia
Entropia informacji narodziła się w 1948 roku wraz z pracami Claude’a Shannona. Służy do pomiaru niepewności, czyli „zaskoczenia », zawartego w rozkładzie prawdopodobieństwa. Artykuł podaje przykład dwóch kostek. Pierwsza jest idealnie wyważona: każdy rzut jest nieprzewidywalny, a entropia jest wysoka. Druga jest mocno obciążona, by wypadać na szóstkę: wynik rzadko zaskakuje, a entropia jest niska. Używany wzór to: H(P) = – Σ P(x) log₂ P(x). Osiąga on maksimum, gdy wszystkie prawdopodobieństwa są równe, czyli dla rozkładu jednostajnego, jak w przypadku pierwszej kostki. Im bardziej niektóre wyniki odstają od innych, tym bardziej entropia maleje.
Gdy model zgaduje następne słowo
LLM generuje tekst słowo po słowie, a dokładniej token po tokenie, gdzie token to jednostka tekstu, którą model przetwarza. Na każdym etapie jego warstwa końcowa przypisuje prawdopodobieństwo każdemu elementowi swojego słownika, które zazwyczaj liczy kilkadziesiąt tysięcy słów. Jeśli model się waha, rozkład jest rozproszony, a entropia wysoka. Jeśli jest bardzo pewny siebie, przypisuje bardzo wysokie prawdopodobieństwo konkretnemu słowu, np. „tatami » w zdaniu „the cat sat on the… », a entropia jest niska. W tym momencie wkracza entropia krzyżowa, funkcja straty używana do kierowania treningiem. Porównuje ona rozkład przewidywany przez model z rozkładem rzeczywistym, który przypisuje 100% faktycznie zaobserwowanemu słowu i 0% wszystkim pozostałym. Minimalizacja tej wartości sprowadza się do stopniowego zbliżania pewności modelu do właściwych słów. Artykuł podkreśla, że ten proces, powtórzony na milionach lub miliardach przykładów, pozwala modelowi nauczyć się generować spójne odpowiedzi.
Przykład w Pythonie
Artykuł proponuje prosty skrypt, który nie ładuje żadnego rzeczywistego LLM, ale ilustruje działanie entropii krzyżowej. Słownik ogranicza się do pięciu słów: „apple », „banana », „cat », „dog » i „elephant ». Słowem docelowym jest „cat ». Porównywane są trzy przewidywania: „Confident & Correct », które przypisuje 0,90 dla „cat »; „Confident & Wrong », które daje 0,80 dla „apple »; oraz „Uncertain (Flat) », które rozkłada prawdopodobieństwo równo między pięć słów, czyli po 0,20 każde. Wyniki są wyświetlane jako interaktywne wykresy słupkowe z użyciem biblioteki Plotly. Według autora trzecia predykcja odpowiada maksymalnej entropii, ponieważ model jest całkowicie niepewny. Druga, choć bardzo pewna siebie, jest błędna, co przekłada się na wysoką entropię krzyżową. Artykuł przypomina, że te dwie sytuacje – niepewność i błąd – są traktowane jednocześnie podczas dążenia do zmniejszenia entropii krzyżowej w trakcie treningu.
