No centro do treino de modelos como Gemini, Llama ou GPT está uma noção emprestada da teoria da informação: a entropia cruzada. Um artigo publicado pelo Machine Learning Mastery mostra como este conceito, ligado à medição da incerteza, permite explicar a forma como os grandes modelos de linguagem (LLM) aprendem a prever a palavra seguinte.
Medir a surpresa
A entropia da informação nasceu em 1948, com os trabalhos de Claude Shannon. Serve para medir a incerteza, ou a «surpresa», contida numa distribuição de probabilidades. O artigo toma o exemplo de dois dados. O primeiro é perfeitamente equilibrado: cada lançamento é imprevisível, e a entropia é elevada. O segundo é fortemente ponderado para sair a face 6: o resultado raramente surpreende, e a entropia é baixa. A fórmula utilizada é a seguinte: H(P) = – Σ P(x) log₂ P(x). Atinge o seu máximo quando todas as probabilidades são iguais, ou seja, para uma distribuição uniforme como a do primeiro dado. Quanto mais alguns resultados se destacam dos outros, mais a entropia diminui.
Quando o modelo adivinha a palavra seguinte
Um LLM gera um texto palavra após palavra, ou mais exatamente token após token, sendo um token uma unidade de texto que o modelo manipula. Em cada etapa, a sua camada final atribui uma probabilidade a cada elemento do seu vocabulário, que conta geralmente com várias dezenas de milhares de palavras. Se o modelo hesita, a distribuição é dispersa e a entropia é elevada. Se estiver muito seguro de si, atribui uma probabilidade muito forte a uma palavra precisa, por exemplo «tatami» na frase «the cat sat on the…», e a entropia é baixa. É aqui que intervém a entropia cruzada, a função de perda utilizada para guiar o treino. Compara a distribuição prevista pelo modelo com a distribuição real, que atribui 100% à palavra efetivamente observada e 0% a todas as outras. Minimizar este valor equivale a fazer convergir progressivamente a confiança do modelo para as palavras certas. O artigo sublinha que este processo, repetido em milhões ou milhares de milhões de exemplos, permite ao modelo aprender a produzir respostas coerentes.
Um exemplo em Python
O artigo propõe um script leve, que não carrega nenhum LLM real mas ilustra o funcionamento da entropia cruzada. O vocabulário limita-se a cinco palavras: «apple», «banana», «cat», «dog» e «elephant». A palavra alvo é «cat». Três previsões são comparadas: «Confident & Correct», que atribui 0,90 a «cat»; «Confident & Wrong», que dá 0,80 a «apple»; e «Uncertain (Flat)», que reparte a probabilidade igualmente pelas cinco palavras, ou seja, 0,20 cada. Os resultados são apresentados sob a forma de gráficos de barras interativos com a biblioteca Plotly. Segundo o autor, a terceira previsão corresponde à entropia máxima, pois o modelo está totalmente incerto. A segunda, embora muito segura de si, engana-se, o que se traduz numa entropia cruzada elevada. O artigo recorda que estas duas situações, a incerteza e o erro, são tratadas simultaneamente quando se procura reduzir a entropia cruzada durante o treino.
