Исследователи представили StateBench, бенчмарк, измеряющий способность языковых моделей отслеживать эволюцию информации об объектах в длинных документах. По словам авторов, рекуррентные и гибридные архитектуры обобщают гораздо дальше трансформеров при прямом обучении на таких задачах, в то время как передовые модели продолжают проваливаться на самых сложных формах по мере увеличения длины входных данных.
Отслеживание состояния присутствует в самых разных ситуациях: от чтения кода, где переменные присваиваются и переприсваиваются, до слежения за детективным романом, где персонажи перемещаются, а предметы переходят из рук в руки. В повествовании фраза « Джон отдал нож Мэри » изменяет состояние двух персонажей, и это нужно запомнить. Некоторые случаи сложнее: требуется отследить цепочку изменений, где один пропущенный шаг искажает конечный ответ.
Четыре уровня сложности
StateBench включает четыре уровня, допускающих всё более сложные операции обновления. Первый, называемый R-trivial, основан на неизменном присваивании: значение переменной никогда не меняется, как дата рождения. Второй, aperiodic, допускает переприсваивание, и модель должна запомнить самое последнее значение, подобно термостату. Третий, soluble, добавляет обновления, зависящие от текущего значения, как счёт в игре. Четвёртый, general finite, вводит присваивание по ссылке, когда переменная принимает значение другой. Авторы иллюстрируют это фокусом с пятью стаканчиками, соответствующим задаче S₅: отследить положение шарика после серии перестановок.
Уровни основаны на теории Крона-Роудса, разделе алгебры, разлагающем такие задачи на элементарные примитивы. Для справедливого сравнения уровней исследователи берут одну и ту же последовательность присваиваний и выводят из неё три более простые версии с тем же числом переменных и уникальных значений. Меняется только тип присваивания. Подробности изложены в техническом отчёте, опубликованном авторами.
Неоднозначные результаты в зависимости от модели
Исследователи сначала протестировали открытые предобученные модели, чьи данные и длины контекста задокументированы. Среди них, две модели на 7 миллиардов параметров: Olmo 3 (трансформер) и Olmo Hybrid (добавляющий слои Gated DeltaNet), а также модели на 275 миллионов и 2,7 миллиарда параметров. Ни одна не обучалась на контекстах длиннее 64 000 токенов (единиц текста, обрабатываемых моделью), но большинство тестировались на значительно большей длине.
Большинство моделей справляется с задачами R-trivial, теряет точность на задачах aperiodic по мере роста входных данных и остаётся на уровне случайного угадывания на задачах general finite. Формат задачи тоже имеет значение: гибридные модели и Gated DeltaNet на 275 миллионов параметров показывают результаты, близкие к максимуму, на задачах типа RULER, но близки к случайным на тех же задачах, представленных в виде изменений в электронной таблице.
Затем четыре передовые модели, Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol и GPT-6 Luna, были подвергнуты тому же испытанию: прочитать последовательность присваиваний и дать конечное значение каждой переменной. Они хорошо справляются с уровнями R-trivial и aperiodic. Однако на уровнях soluble и general finite точность резко падает по мере удлинения входных данных, опускаясь до 13% и ниже на самых длинных задачах general finite. Авторы предполагают вероятное объяснение: на этих уровнях больше шагов влияют на конечный результат, так что одно пропущенное обновление искажает ответ.
Прямое обучение
Затем исследователи попытались выяснить, связаны ли эти трудности с самой архитектурой или с предобучением. Они с нуля обучили несколько моделей на 275 миллионов параметров: два варианта трансформеров, два гибридных и два варианта Gated DeltaNet. Обученные на последовательностях длиной до 256 присваиваний, они были протестированы на последовательностях до 64 000 присваиваний, что в 250 раз превышает максимальную длину обучения.
Архитектуры начинают различаться по мере удлинения последовательностей. Модели Gated DeltaNet и гибридные обобщают почти идеально на задачах R-trivial, aperiodic и soluble, вплоть до самых длинных протестированных последовательностей. Трансформеры справляются с простейшими уровнями, но ухудшаются на длинных последовательностях и никогда не осваивают задачи general finite. На этом последнем уровне вариант Gated DeltaNet с более гибким обновлением памяти остаётся близок к совершенству примерно до десятикратной длины, виденной во время обучения.
Авторы оставляют несколько открытых вопросов, включая точное место некоторых вариантов в этой иерархии и эффект комбинации со слоями внимания. StateBench также предполагает фиксированное число переменных, тогда как в длинной беседе могут появляться новые люди и объекты. Текущая структура ещё не охватывает этот случай. Тем не менее, исследователи надеются, что бенчмарк послужит « путеводной звездой » для создания более устойчивых архитектур в отслеживании состояния.
