Investigadores explican cómo visualizar la entropía de la información en los modelos de lenguaje

Investigadores explican cómo visualizar la entropía de la información en los modelos de lenguaje
3 min de lectura

En el corazón del entrenamiento de modelos como Gemini, Llama o GPT se encuentra una noción tomada de la teoría de la información: la entropía cruzada. Un artículo publicado por Machine Learning Mastery muestra cómo este concepto, ligado a la medición de la incertidumbre, permite explicar la forma en que los grandes modelos de lenguaje (LLM) aprenden a predecir la siguiente palabra.

Medir la sorpresa

La entropía de la información nació en 1948, con los trabajos de Claude Shannon. Sirve para medir la incertidumbre, o la «sorpresa», contenida en una distribución de probabilidades. El artículo toma el ejemplo de dos dados. El primero está perfectamente equilibrado: cada lanzamiento es impredecible y la entropía es alta. El segundo está fuertemente ponderado para caer en la cara 6: el resultado rara vez sorprende y la entropía es baja. La fórmula utilizada es la siguiente: H(P) = – Σ P(x) log₂ P(x). Alcanza su máximo cuando todas las probabilidades son iguales, es decir, para una distribución uniforme como la del primer dado. Cuanto más se destacan algunos resultados de otros, más disminuye la entropía.

Cuando el modelo adivina la siguiente palabra

Un LLM genera un texto palabra tras palabra, o más exactamente token tras token, siendo un token una unidad de texto que el modelo manipula. En cada etapa, su capa final asigna una probabilidad a cada elemento de su vocabulario, que generalmente cuenta con varias decenas de miles de palabras. Si el modelo duda, la distribución está dispersa y la entropía es alta. Si está muy seguro de sí mismo, asigna una probabilidad muy fuerte a una palabra precisa, por ejemplo «tatami» en la frase «the cat sat on the…», y la entropía es baja. Aquí es donde interviene la entropía cruzada, la función de pérdida utilizada para guiar el entrenamiento. Compara la distribución predicha por el modelo con la distribución real, que asigna el 100 % a la palabra efectivamente observada y el 0 % a todas las demás. Minimizar este valor equivale a hacer converger progresivamente la confianza del modelo hacia las palabras correctas. El artículo subraya que este proceso, repetido en millones o miles de millones de ejemplos, permite al modelo aprender a producir respuestas coherentes.

Un ejemplo en Python

El artículo propone un script ligero, que no carga ningún LLM real pero ilustra el funcionamiento de la entropía cruzada. El vocabulario se limita a cinco palabras: «apple», «banana», «cat», «dog» y «elephant». La palabra objetivo es «cat». Se comparan tres predicciones: «Confident & Correct», que asigna 0,90 a «cat»; «Confident & Wrong», que da 0,80 a «apple»; y «Uncertain (Flat)», que reparte la probabilidad a partes iguales entre las cinco palabras, es decir, 0,20 cada una. Los resultados se muestran en forma de gráficos de barras interactivos con la biblioteca Plotly. Según el autor, la tercera predicción corresponde a la entropía máxima, porque el modelo es totalmente incierto. La segunda, aunque muy segura de sí, se equivoca, lo que se traduce en una entropía cruzada alta. El artículo recuerda que estas dos situaciones, la incertidumbre y el error, se tratan simultáneamente cuando se busca reducir la entropía cruzada durante el entrenamiento.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x