Des chercheurs ont présenté StateBench, un benchmark qui mesure la capacité des modèles de langage à suivre, dans de longs documents, l’évolution des informations sur des entités. Selon les auteurs, les architectures récurrentes et hybrides généralisent bien plus loin que les transformers lorsqu’elles sont entraînées directement sur ces tâches, tandis que des modèles de pointe continuent de décrocher sur les formes les plus difficiles quand les entrées s’allongent.
- StateBench mesure la capacité des modèles de langage à suivre l’évolution d’informations dans de longs documents.
- Les architectures récurrentes et hybrides généralisent mieux que les transformers lorsqu’elles sont entraînées directement sur ces tâches.
- Les modèles de pointe perdent en précision sur les problèmes les plus difficiles quand les entrées s’allongent.
- Le benchmark comporte quatre niveaux de difficulté, avec des mises à jour de plus en plus complexes.
Le suivi d’état est présent dans des situations très variées, de la lecture de code, où des variables sont assignées puis réassignées, au suivi d’un roman policier, où les personnages se déplacent et où les objets changent de mains. Dans un récit, la phrase « John a donné le couteau à Mary » modifie l’état de deux personnages et doit être retenue. Certains cas sont plus complexes : il faut alors suivre une chaîne de changements, où une seule étape oubliée fausse la réponse finale.
Quatre niveaux de difficulté
StateBench comporte quatre niveaux, qui autorisent des opérations de mise à jour de plus en plus complexes. Le premier, dit R-trivial, repose sur une affectation immuable : la valeur d’une variable ne change jamais, comme une date de naissance. Le deuxième, aperiodic, autorise la réassignation, et le modèle doit retenir la valeur la plus récente, à la manière d’un thermostat. Le troisième, soluble, ajoute des mises à jour qui dépendent de la valeur courante, comme le score d’un jeu. Le quatrième, general finite, introduit l’affectation par référence, où une variable reprend la valeur d’une autre. Les auteurs l’illustrent par un tour de magie avec cinq gobelets, correspondant au problème S₅ : suivre la position d’une balle après une succession d’échanges.
Les niveaux reposent sur la théorie de Krohn–Rhodes, une branche de l’algèbre qui décompose ces problèmes en primitives élémentaires. Pour comparer les niveaux de façon équitable, les chercheurs partent d’une même séquence d’affectations et en dérivent trois versions plus simples, avec le même nombre de variables et de valeurs distinctes. Seul le type d’affectation change. Les détails figurent dans un rapport technique publié par les auteurs.
Des résultats contrastés selon les modèles
Les chercheurs ont d’abord testé des modèles pré-entraînés ouverts, dont les données et les longueurs de contexte sont documentées. Parmi eux figurent deux modèles de 7 milliards de paramètres, Olmo 3, un transformer, et Olmo Hybrid, qui ajoute des couches Gated DeltaNet, ainsi que des modèles de 275 millions et 2,7 milliards de paramètres. Aucun n’a été entraîné sur des contextes dépassant 64 000 tokens, c’est-à-dire les unités de texte traitées par le modèle, mais la plupart ont été testés bien au-delà de cette longueur.
La majorité des modèles réussit les problèmes R-trivial, perd en précision sur les problèmes aperiodic à mesure que les entrées grandissent, et reste au niveau du hasard sur les problèmes general finite. Le format de la tâche compte aussi : les modèles hybrides et Gated DeltaNet de 275 millions de paramètres obtiennent des scores proches du maximum sur des problèmes de type RULER, mais sont proches du hasard sur les mêmes problèmes présentés sous forme de modifications de tableur.
Quatre modèles de pointe, Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol et GPT-6 Luna, ont ensuite été soumis à la même épreuve : lire une séquence d’affectations et donner la valeur finale de chaque variable. Ils réussissent bien les niveaux R-trivial et aperiodic. En revanche, sur les niveaux soluble et general finite, la précision chute nettement à mesure que les entrées s’allongent, jusqu’à 13 % ou moins sur les problèmes general finite les plus longs. Les auteurs évoquent une explication probable : à ces niveaux, davantage d’étapes influencent le résultat final, si bien qu’une mise à jour oubliée fausse la réponse.
Un entraînement direct
Les chercheurs ont ensuite cherché à savoir si ces difficultés tiennent à l’architecture elle-même ou au pré-entraînement. Ils ont entraîné depuis zéro plusieurs modèles de 275 millions de paramètres : deux variantes de transformers, deux hybrides et deux variantes de Gated DeltaNet. Entraînés sur des séquences allant jusqu’à 256 affectations, ils ont été testés sur des séquences atteignant 64 000 affectations, soit 250 fois la longueur maximale d’entraînement.
Les architectures se différencient à mesure que les séquences s’allongent. Les modèles Gated DeltaNet et hybrides généralisent presque parfaitement sur les problèmes R-trivial, aperiodic et soluble, jusqu’aux séquences les plus longues testées. Les transformers maîtrisent les niveaux les plus simples mais se dégradent sur les longues séquences, et n’apprennent jamais les problèmes general finite. Sur ce dernier niveau, la variante de Gated DeltaNet dotée d’une mise à jour de mémoire plus souple reste proche de la perfection jusqu’à environ dix fois la longueur maximale vue pendant l’entraînement.
Les auteurs laissent plusieurs questions ouvertes, notamment la place exacte de certaines variantes dans cette hiérarchie et l’effet d’une combinaison avec des couches d’attention. StateBench suppose aussi un nombre fixe de variables, alors que, dans une longue conversation, de nouvelles personnes et de nouveaux objets peuvent apparaître. Le cadre actuel ne couvre pas encore ce cas. Les chercheurs espèrent néanmoins que le benchmark servira de « étoile du nord » pour concevoir des architectures plus robustes dans le suivi d’état.
