I ricercatori spiegano come visualizzare l’entropia dell’informazione nei modelli linguistici

I ricercatori spiegano come visualizzare l’entropia dell’informazione nei modelli linguistici
2 min di lettura

Al centro dell’addestramento di modelli come Gemini, Llama o GPT si trova una nozione mutuata dalla teoria dell’informazione: l’entropia incrociata. Un articolo pubblicato da Machine Learning Mastery mostra come questo concetto, legato alla misura dell’incertezza, permetta di spiegare il modo in cui i grandi modelli linguistici (LLM) imparano a predire la parola successiva.

Misurare la sorpresa

L’entropia dell’informazione è nata nel 1948, con i lavori di Claude Shannon. Serve a misurare l’incertezza, o la «sorpresa», contenuta in una distribuzione di probabilità. L’articolo prende l’esempio di due dadi. Il primo è perfettamente bilanciato: ogni lancio è imprevedibile e l’entropia è elevata. Il secondo è fortemente ponderato per uscire sulla faccia 6: il risultato sorprende raramente e l’entropia è bassa. La formula utilizzata è la seguente: H(P) = – Σ P(x) log₂ P(x). Raggiunge il suo massimo quando tutte le probabilità sono uguali, cioè per una distribuzione uniforme come quella del primo dado. Più alcuni esiti si distinguono dagli altri, più l’entropia diminuisce.

Quando il modello indovina la parola successiva

Un LLM genera un testo parola dopo parola, o più precisamente token dopo token, un token essendo un’unità di testo che il modello manipola. A ogni passo, il suo strato finale attribuisce una probabilità a ogni elemento del suo vocabolario, che conta generalmente diverse decine di migliaia di parole. Se il modello esita, la distribuzione è ampia e l’entropia è elevata. Se è molto sicuro di sé, attribuisce una probabilità molto forte a una parola precisa, ad esempio «tatami» nella frase «the cat sat on the…», e l’entropia è bassa. È qui che interviene l’entropia incrociata, la funzione di perdita utilizzata per guidare l’addestramento. Confronta la distribuzione predetta dal modello con la distribuzione reale, che attribuisce il 100% alla parola effettivamente osservata e lo 0% a tutte le altre. Minimizzare questo valore equivale a far convergere progressivamente la confidenza del modello verso le parole corrette. L’articolo sottolinea che questo processo, ripetuto su milioni o miliardi di esempi, permette al modello di imparare a produrre risposte coerenti.

Un esempio in Python

L’articolo propone uno script leggero, che non carica alcun LLM reale ma illustra il funzionamento dell’entropia incrociata. Il vocabolario si limita a cinque parole: «apple», «banana», «cat», «dog» ed «elephant». La parola obiettivo è «cat». Vengono confrontate tre predizioni: «Confident & Correct», che attribuisce 0,90 a «cat»; «Confident & Wrong», che dà 0,80 a «apple»; e «Uncertain (Flat)», che ripartisce la probabilità in modo uguale tra le cinque parole, cioè 0,20 ciascuna. I risultati sono visualizzati sotto forma di grafici a barre interattivi con la libreria Plotly. Secondo l’autore, la terza predizione corrisponde all’entropia massima, poiché il modello è totalmente incerto. La seconda, benché molto sicura di sé, sbaglia, il che si traduce in un’entropia incrociata elevata. L’articolo ricorda che queste due situazioni, l’incertezza e l’errore, sono trattate simultaneamente quando si cerca di ridurre l’entropia incrociata durante l’addestramento.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x