Investigadores apresentaram StateBench, um benchmark que mede a capacidade dos modelos de linguagem para acompanhar, em documentos longos, a evolução da informação sobre entidades. Segundo os autores, as arquiteturas recorrentes e híbridas generalizam muito melhor do que os transformers quando treinadas diretamente nestas tarefas, enquanto os modelos de ponta continuam a falhar nas formas mais difíceis quando as entradas se tornam mais longas.
- O StateBench mede a capacidade dos modelos para acompanhar a evolução de informações sobre entidades em documentos longos.
- As arquiteturas recorrentes e híbridas generalizam melhor do que os transformers quando treinadas diretamente nestas tarefas.
- Os modelos de ponta perdem precisão nos níveis soluble e general finite à medida que as entradas se alongam, chegando a 13% ou menos.
- O quadro atual não cobre o caso em que novas entidades aparecem ao longo de uma conversa, o que fica em aberto.
O acompanhamento de estado está presente em situações muito variadas, desde a leitura de código, onde variáveis são atribuídas e depois reatribuídas, até ao seguimento de um romance policial, onde as personagens se deslocam e os objetos mudam de mãos. Num relato, a frase «John deu a faca à Mary» modifica o estado de duas personagens e deve ser retida. Alguns casos são mais complexos: é necessário seguir uma cadeia de mudanças, onde um único passo esquecido distorce a resposta final.
Quatro níveis de dificuldade
O StateBench inclui quatro níveis, que permitem operações de atualização cada vez mais complexas. O primeiro, denominado R-trivial, baseia-se numa atribuição imutável: o valor de uma variável nunca muda, como uma data de nascimento. O segundo, aperiodic, permite a reatribuição, e o modelo deve reter o valor mais recente, à semelhança de um termóstato. O terceiro, soluble, adiciona atualizações que dependem do valor atual, como a pontuação de um jogo. O quarto, general finite, introduz a atribuição por referência, onde uma variável assume o valor de outra. Os autores ilustram-no com um truque de magia com cinco copos, correspondendo ao problema S₅: acompanhar a posição de uma bola após uma sucessão de trocas.
Os níveis baseiam-se na teoria de Krohn–Rhodes, um ramo da álgebra que decompõe estes problemas em primitivas elementares. Para comparar os níveis de forma justa, os investigadores partem de uma mesma sequência de atribuições e derivam três versões mais simples, com o mesmo número de variáveis e de valores distintos. Apenas o tipo de atribuição muda. Os detalhes constam de um relatório técnico publicado pelos autores.
Resultados contrastados consoante os modelos
Os investigadores testaram primeiro modelos pré-treinados abertos, cujos dados e comprimentos de contexto estão documentados. Entre eles figuram dois modelos de 7 mil milhões de parâmetros, Olmo 3, um transformer, e Olmo Hybrid, que adiciona camadas Gated DeltaNet, bem como modelos de 275 milhões e 2,7 mil milhões de parâmetros. Nenhum foi treinado em contextos que excedessem 64 000 tokens, ou seja, as unidades de texto processadas pelo modelo, mas a maioria foi testada muito além deste comprimento.
A maioria dos modelos consegue resolver os problemas R-trivial, perde precisão nos problemas aperiodic à medida que as entradas aumentam, e mantém-se ao nível do acaso nos problemas general finite. O formato da tarefa também conta: os modelos híbridos e Gated DeltaNet de 275 milhões de parâmetros obtêm pontuações próximas do máximo em problemas do tipo RULER, mas estão próximos do acaso nos mesmos problemas apresentados sob a forma de modificações de folha de cálculo.
Quatro modelos de ponta, Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol e GPT-6 Luna, foram depois submetidos à mesma prova: ler uma sequência de atribuições e dar o valor final de cada variável. Eles têm bom desempenho nos níveis R-trivial e aperiodic. Pelo contrário, nos níveis soluble e general finite, a precisão cai acentuadamente à medida que as entradas se alongam, até 13% ou menos nos problemas general finite mais longos. Os autores referem uma explicação provável: a estes níveis, mais passos influenciam o resultado final, de modo que uma atualização esquecida distorce a resposta.
Um treino direto
Os investigadores procuraram depois saber se estas dificuldades se devem à própria arquitetura ou ao pré-treino. Treinaram desde o zero vários modelos de 275 milhões de parâmetros: duas variantes de transformers, duas híbridas e duas variantes de Gated DeltaNet. Treinados em sequências até 256 atribuições, foram testados em sequências que atingiam 64 000 atribuições, ou seja, 250 vezes o comprimento máximo de treino.
As arquiteturas diferenciam-se à medida que as sequências se alongam. Os modelos Gated DeltaNet e híbridos generalizam quase perfeitamente nos problemas R-trivial, aperiodic e soluble, até às sequências mais longas testadas. Os transformers dominam os níveis mais simples mas degradam-se nas sequências longas, e nunca aprendem os problemas general finite. Neste último nível, a variante de Gated DeltaNet dotada de uma atualização de memória mais flexível mantém-se próxima da perfeição até cerca de dez vezes o comprimento máximo visto durante o treino.
Os autores deixam várias questões em aberto, nomeadamente o lugar exato de certas variantes nesta hierarquia e o efeito de uma combinação com camadas de atenção. O StateBench assume também um número fixo de variáveis, enquanto que, numa longa conversa, novas pessoas e novos objetos podem aparecer. O quadro atual ainda não cobre este caso. Os investigadores esperam, no entanto, que o benchmark sirva de «estrela polar» para conceber arquiteturas mais robustas no acompanhamento de estado.
