Onderzoekers hebben StateBench gepresenteerd, een benchmark die het vermogen van taalmodelen meet om de evolutie van informatie over entiteiten in lange documenten te volgen. Volgens de auteurs generaliseren recurrente en hybride architecturen veel beter dan transformers wanneer ze rechtstreeks op deze taken worden getraind, terwijl toonaangevende modellen blijven falen op de moeilijkste vormen wanneer de invoer langer wordt.
- StateBench meet of taalmodelen de verandering van informatie over entiteiten in lange documenten kunnen volgen.
- Recurrente en hybride architecturen generaliseren beter dan transformers wanneer ze direct op deze taken worden getraind.
- Toonaangevende modellen verliezen nauwkeurigheid op de moeilijkste niveaus zodra de invoer langer wordt.
- Gated DeltaNet blijft op het moeilijkste niveau bijna perfect tot ongeveer tien keer de trainingslengte.
Het volgen van toestand is aanwezig in zeer uiteenlopende situaties, van het lezen van code, waar variabelen worden toegewezen en opnieuw toegewezen, tot het volgen van een detectiveverhaal, waar personages zich verplaatsen en objecten van eigenaar wisselen. In een verhaal verandert de zin ‘John gaf het mes aan Mary’ de toestand van twee personages en moet dit worden onthouden. Sommige gevallen zijn complexer: dan moet een keten van veranderingen worden gevolgd, waarbij één vergeten stap het uiteindelijke antwoord fout maakt.
Vier moeilijkheidsgraden
StateBench bevat vier niveaus, die steeds complexere updatebewerkingen toestaan. Het eerste, R-trivial genoemd, berust op een onveranderlijke toewijzing: de waarde van een variabele verandert nooit, zoals een geboortedatum. Het tweede, aperiodic, staat hertoewijzing toe, en het model moet de meest recente waarde onthouden, zoals bij een thermostaat. Het derde, soluble, voegt updates toe die afhangen van de huidige waarde, zoals de score in een spel. Het vierde, general finite, introduceert toewijzing door referentie, waarbij een variabele de waarde van een andere overneemt. De auteurs illustreren dit met een goocheltruc met vijf bekertjes, wat overeenkomt met het S₅-probleem: de positie van een bal volgen na een reeks uitwisselingen.
De niveaus zijn gebaseerd op de Krohn–Rhodes-theorie, een tak van de algebra die deze problemen ontleedt in elementaire bouwstenen. Om de niveaus eerlijk te vergelijken, gaan de onderzoekers uit van dezelfde reeks toewijzingen en leiden daar drie eenvoudigere versies van af, met hetzelfde aantal variabelen en verschillende waarden. Alleen het type toewijzing verandert. De details staan in een technisch rapport dat door de auteurs is gepubliceerd.
Gevariëerde resultaten per model
De onderzoekers testten eerst open, voorgetrainde modellen, waarvan de gegevens en contextlengtes gedocumenteerd zijn. Onder hen bevinden zich twee modellen van 7 miljard parameters, Olmo 3, een transformer, en Olmo Hybrid, dat Gated DeltaNet-lagen toevoegt, evenals modellen van 275 miljoen en 2,7 miljard parameters. Geen ervan is getraind op contexten die 64.000 tokens overschrijden, dat wil zeggen de tekstverwerkingseenheden van het model, maar de meeste zijn getest ver boven deze lengte.
De meeste modellen slagen voor de R-trivial problemen, verliezen nauwkeurigheid op de aperiodic problemen naarmate de invoer groeit, en blijven op het niveau van toeval voor de general finite problemen. Het formaat van de taak telt ook mee: de hybride en Gated DeltaNet-modellen van 275 miljoen parameters behalen scores dicht bij het maximum op RULER-type problemen, maar zijn dicht bij toeval op dezelfde problemen gepresenteerd als spreadsheetwijzigingen.
Vier toonaangevende modellen, Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol en GPT-6 Luna, werden vervolgens aan dezelfde test onderworpen: een reeks toewijzingen lezen en de eindwaarde van elke variabele geven. Ze presteren goed op de R-trivial en aperiodic niveaus. Daarentegen daalt de nauwkeurigheid op de soluble en general finite niveaus duidelijk naarmate de invoer langer wordt, tot 13% of minder op de langste general finite problemen. De auteurs noemen een waarschijnlijke verklaring: op deze niveaus beïnvloeden meer stappen het eindresultaat, zodat een vergeten update het antwoord fout maakt.
Directe training
De onderzoekers probeerden vervolgens te achterhalen of deze moeilijkheden te wijten zijn aan de architectuur zelf of aan de voorafgaande training. Ze trainden verschillende modellen van 275 miljoen parameters vanaf nul: twee varianten van transformers, twee hybride en twee varianten van Gated DeltaNet. Getraind op sequenties tot 256 toewijzingen, werden ze getest op sequenties tot 64.000 toewijzingen, dat is 250 keer de maximale trainingslengte.
De architecturen onderscheiden zich naarmate de sequenties langer worden. De Gated DeltaNet- en hybride modellen generaliseren bijna perfect op de R-trivial, aperiodic en soluble problemen, tot aan de langste geteste sequenties. De transformers beheersen de eenvoudigste niveaus maar verslechteren op lange sequenties, en leren de general finite problemen nooit. Op dit laatste niveau blijft de Gated DeltaNet-variant met een flexibelere geheugenupdate tot ongeveer tien keer de maximale tijdens de training gezien lengte dicht bij perfectie.
De auteurs laten verschillende vragen open, waaronder de exacte plaats van bepaalde varianten in deze hiërarchie en het effect van een combinatie met aandachtlagen. StateBench veronderstelt ook een vast aantal variabelen, terwijl in een lang gesprek nieuwe personen en objecten kunnen verschijnen. Het huidige kader dekt dit geval nog niet. De onderzoekers hopen echter dat de benchmark zal dienen als een ‘noordster’ voor het ontwerpen van robuustere architecturen voor het volgen van toestand.
