Unos investigadores han presentado StateBench, un benchmark que mide la capacidad de los modelos de lenguaje para seguir la evolución de la información sobre entidades en documentos largos. Según los autores, las arquitecturas recurrentes e híbridas generalizan mucho mejor que los transformers cuando se entrenan directamente en estas tareas, mientras que los modelos punteros siguen fallando en las formas más difíciles cuando las entradas se alargan.
- StateBench mide la capacidad de los modelos de lenguaje para seguir cambios de estado en documentos largos.
- Las arquitecturas recurrentes e híbridas generalizan mejor que los transformers cuando se entrenan directamente en estas tareas.
- Los modelos punteros pierden precisión al alargarse las entradas, sobre todo en los niveles más difíciles.
- El marco no cubre todavía la aparición de nuevas entidades durante una conversación larga.
El seguimiento de estado está presente en situaciones muy variadas, desde la lectura de código, donde las variables se asignan y luego se reasignan, hasta el seguimiento de una novela policíaca, donde los personajes se desplazan y los objetos cambian de manos. En una narración, la frase «John le dio el cuchillo a Mary» modifica el estado de dos personajes y debe ser recordada. Algunos casos son más complejos: entonces hay que seguir una cadena de cambios, donde un solo paso olvidado falsea la respuesta final.
Cuatro niveles de dificultad
StateBench incluye cuatro niveles, que permiten operaciones de actualización cada vez más complejas. El primero, denominado R-trivial, se basa en una asignación inmutable: el valor de una variable nunca cambia, como una fecha de nacimiento. El segundo, aperiodic, permite la reasignación, y el modelo debe recordar el valor más reciente, al estilo de un termostato. El tercero, soluble, añade actualizaciones que dependen del valor actual, como la puntuación de un juego. El cuarto, general finite, introduce la asignación por referencia, donde una variable toma el valor de otra. Los autores lo ilustran con un truco de magia con cinco vasos, correspondiente al problema S₅: seguir la posición de una bola después de una sucesión de intercambios.
Los niveles se basan en la teoría de Krohn–Rhodes, una rama del álgebra que descompone estos problemas en primitivas elementales. Para comparar los niveles de forma justa, los investigadores parten de una misma secuencia de asignaciones y derivan tres versiones más simples, con el mismo número de variables y valores distintos. Solo cambia el tipo de asignación. Los detalles figuran en un informe técnico publicado por los autores.
Resultados contrastados según los modelos
Los investigadores primero probaron modelos preentrenados abiertos, cuyos datos y longitudes de contexto están documentados. Entre ellos figuran dos modelos de 7 mil millones de parámetros, Olmo 3, un transformer, y Olmo Hybrid, que añade capas Gated DeltaNet, así como modelos de 275 millones y 2,7 mil millones de parámetros. Ninguno fue entrenado en contextos que superaran los 64.000 tokens, es decir, las unidades de texto procesadas por el modelo, pero la mayoría fueron probados muy por encima de esa longitud.
La mayoría de los modelos supera los problemas R-trivial, pierde precisión en los problemas aperiodic a medida que las entradas crecen, y se mantiene al nivel del azar en los problemas general finite. El formato de la tarea también cuenta: los modelos híbridos y Gated DeltaNet de 275 millones de parámetros obtienen puntuaciones cercanas al máximo en problemas de tipo RULER, pero están cerca del azar en los mismos problemas presentados como modificaciones de hoja de cálculo.
Cuatro modelos punteros, Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol y GPT-6 Luna, fueron luego sometidos a la misma prueba: leer una secuencia de asignaciones y dar el valor final de cada variable. Superan bien los niveles R-trivial y aperiodic. En cambio, en los niveles soluble y general finite, la precisión cae notablemente a medida que las entradas se alargan, hasta un 13 % o menos en los problemas general finite más largos. Los autores mencionan una explicación probable: en estos niveles, más pasos influyen en el resultado final, de modo que una actualización olvidada falsea la respuesta.
Un entrenamiento directo
Los investigadores luego buscaron saber si estas dificultades se deben a la arquitectura misma o al preentrenamiento. Entrenaron desde cero varios modelos de 275 millones de parámetros: dos variantes de transformers, dos híbridas y dos variantes de Gated DeltaNet. Entrenados en secuencias de hasta 256 asignaciones, fueron probados en secuencias de hasta 64.000 asignaciones, es decir, 250 veces la longitud máxima de entrenamiento.
Las arquitecturas se diferencian a medida que las secuencias se alargan. Los modelos Gated DeltaNet e híbridos generalizan casi perfectamente en los problemas R-trivial, aperiodic y soluble, hasta las secuencias más largas probadas. Los transformers dominan los niveles más simples pero se degradan en las secuencias largas, y nunca aprenden los problemas general finite. En este último nivel, la variante de Gated DeltaNet dotada de una actualización de memoria más flexible se mantiene cerca de la perfección hasta aproximadamente diez veces la longitud máxima vista durante el entrenamiento.
Los autores dejan varias preguntas abiertas, en particular el lugar exacto de ciertas variantes en esta jerarquía y el efecto de una combinación con capas de atención. StateBench supone también un número fijo de variables, mientras que, en una conversación larga, pueden aparecer nuevas personas y nuevos objetos. El marco actual aún no cubre este caso. Los investigadores esperan no obstante que el benchmark sirva de «estrella polar» para diseñar arquitecturas más robustas en el seguimiento de estado.
