قدم باحثون StateBench، وهو معيار قياسي يقيس قدرة نماذج اللغة على تتبع تطور المعلومات حول الكيانات في المستندات الطويلة. وفقًا للمؤلفين، فإن البنى المتكررة والهجينة تعمم بشكل أفضل بكثير من نماذج المحولات (transformers) عندما يتم تدريبها مباشرة على هذه المهام، بينما تستمر النماذج المتطورة في الفشل في الأشكال الأكثر صعوبة عندما تطول المدخلات.
يظهر تتبع الحالة في مواقف متنوعة للغاية، من قراءة الكود، حيث يتم تعيين المتغيرات ثم إعادة تعيينها، إلى متابعة رواية بوليسية، حيث تتحرك الشخصيات وتتغير ملكية الأشياء. في السرد، تغير جملة « أعطى جون السكين لماري » حالة شخصيتين ويجب تذكرها. بعض الحالات أكثر تعقيدًا: حيث يجب تتبع سلسلة من التغييرات، حيث يؤدي نسيان خطوة واحدة إلى إفساد الإجابة النهائية.
أربعة مستويات من الصعوبة
يتضمن StateBench أربعة مستويات، تسمح بعمليات تحديث أكثر تعقيدًا تدريجيًا. الأول، المسمى R-trivial، يعتمد على تعيين ثابت: قيمة المتغير لا تتغير أبدًا، مثل تاريخ الميلاد. الثاني، aperiodic، يسمح بإعادة التعيين، ويجب على النموذج أن يتذكر القيمة الأحدث، مثل منظم الحرارة. الثالث، soluble، يضيف تحديثات تعتمد على القيمة الحالية، مثل نتيجة لعبة. الرابع، general finite، يقدم التعيين بالرجوع، حيث يأخذ متغير قيمة متغير آخر. يوضح المؤلفون ذلك بخدعة سحرية بخمسة أكواب، تتوافق مع مشكلة S₅: تتبع موقع كرة بعد سلسلة من التبادلات.
تعتمد المستويات على نظرية Krohn-Rhodes، وهي فرع من الجبر يحلل هذه المشكلات إلى عناصر أولية. لمقارنة المستويات بشكل عادل، بدأ الباحثون من نفس تسلسل التعيينات واستخلصوا ثلاث نسخ أبسط، بنفس عدد المتغيرات والقيم المميزة. فقط نوع التعيين يتغير. التفاصيل موجودة في تقرير تقني نشره المؤلفون.
نتائج متفاوتة حسب النموذج
اختبر الباحثون أولاً نماذج مفتوحة مُدرَّبة مسبقًا، موثقة البيانات وأطوال السياق. من بينها نموذجان بحجم 7 مليارات معامل، Olmo 3، وهو محول (transformer)، وOlmo Hybrid، الذي يضيف طبقات Gated DeltaNet، بالإضافة إلى نماذج بحجم 275 مليون و2.7 مليار معامل. لم يتم تدريب أي منها على سياقات تتجاوز 64,000 وحدة نصية (token)، أي وحدات النص التي يعالجها النموذج، ولكن تم اختبار معظمها على أطوال أكبر بكثير من ذلك.
تنجح معظم النماذج في مشكلات R-trivial، وتفقد الدقة في مشكلات aperiodic مع زيادة طول المدخلات، وتبقى عند مستوى الصدفة في مشكلات general finite. يهم أيضًا شكل المهمة: النماذج الهجينة وGated DeltaNet بحجم 275 مليون معامل تحصل على درجات قريبة من الحد الأقصى في مشكلات من نوع RULER، ولكنها قريبة من الصدفة في نفس المشكلات المعروضة كتعديلات في جدول بيانات.
ثم خضعت أربعة نماذج متطورة، Gemini 3.8 Flash وClaude Opus 5.5 وGPT-6 Sol وGPT-6 Luna، لنفس الاختبار: قراءة تسلسل تعيينات وإعطاء القيمة النهائية لكل متغير. تنجح جيدًا في مستويات R-trivial وaperiodic. على العكس، في مستويات soluble وgeneral finite، تهبط الدقة بشكل ملحوظ مع زيادة طول المدخلات، لتصل إلى 13% أو أقل في أطول مشكلات general finite. يشير المؤلفون إلى تفسير محتمل: في هذه المستويات، تؤثر خطوات أكثر على النتيجة النهائية، بحيث يؤدي نسيان تحديث واحد إلى إفساد الإجابة.
تدريب مباشر
ثم حاول الباحثون معرفة ما إذا كانت هذه الصعوبات نابعة من البنية نفسها أو من التدريب المسبق. قاموا بتدريب عدة نماذج بحجم 275 مليون معامل من الصفر: نوعين من المحولات (transformers)، ونوعين هجينين، ونوعين من Gated DeltaNet. بعد تدريبها على تسلسلات تصل إلى 256 تعيينًا، تم اختبارها على تسلسلات تصل إلى 64,000 تعيين، أي 250 ضعف الحد الأقصى لطول التدريب.
تتباين البنى مع زيادة طول التسلسلات. تعمم نماذج Gated DeltaNet والنماذج الهجينة بشكل شبه مثالي على مشكلات R-trivial وaperiodic وsoluble، حتى أطول التسلسلات التي تم اختبارها. تتقن نماذج المحولات (transformers) المستويات الأبسط ولكنها تتدهور في التسلسلات الطويلة، ولا تتعلم أبدًا مشكلات general finite. في هذا المستوى الأخير، يبقى نوع Gated DeltaNet المزود بتحديث ذاكرة أكثر مرونة قريبًا من الكمال حتى حوالي عشرة أضعاف الحد الأقصى للطول الذي رآه أثناء التدريب.
يترك المؤلفون عدة أسئلة مفتوحة، بما في ذلك المكانة الدقيقة لبعض المتغيرات في هذا التسلسل الهرمي وتأثير الدمج مع طبقات الانتباه (attention). يفترض StateBench أيضًا عددًا ثابتًا من المتغيرات، بينما في محادثة طويلة، قد تظهر أشخاص وأشياء جديدة. الإطار الحالي لا يغطي هذه الحالة بعد. يأمل الباحثون مع ذلك أن يكون المعيار بمثابة « نجم الشمال » لتصميم بنى أكثر متانة في تتبع الحالة.
