في 30 يوليو 2026، قامت Transformers بتفعيل آلية الانتباه scaled dot-product (SDPA) الخاصة بـ PyTorch لـ T5. كان لهذا الأثر الجانبي أن سمح لمُفكك شفرة UMT5 بالاطلاع على الرموز (tokens) المستقبلية، أي الإجابة التي كان من المفترض أن يتنبأ بها، أثناء التدريب. لم يتعطل أي شيء، وبقي الخطأ في الفرع الرئيسي (main) لما يقرب من شهرين. تقدم Hugging Face عقود تكامل النماذج (MIC)، وهو تنسيق اختبارات يعتمد على نماذج صغيرة، مكّن من اكتشافه عند إعادة تشغيل الالتزامات (commits).
تدعم Transformers أكثر من 750 نوعًا من النماذج، ومجموعة اختباراتها ضخمة: أكثر من 88,000 اختبار على وحدة المعالجة المركزية (CPU) في الفرع الرئيسي، وأكثر من 200,000 اختبار على وحدة معالجة الرسومات (GPU) في تنفيذ يومي. تقوم اختبارات التكامل بتحميل نقاط فحص (checkpoints) حقيقية وتستخدم واجهة برمجة تطبيقات (API) النماذج على أجهزة فعلية. تشغيلها عند كل طلب تعديل سيشغل عددًا كبيرًا من وحدات معالجة الرسومات طوال اليوم، وهو أمر غير واقعي. لذا، يمكن أن يصل خطأ تراجعي (regression) إلى الفرع الرئيسي قبل أن يتم اكتشافه بواسطة تنفيذ مجدول.
تصغير النموذج بدلاً من اختبار النموذج الكبير
تتمثل المنهجية في إنشاء نموذج تجريبي (fixture)، أي نموذج صغير يُبنى من تكوين نقطة الفحص الحقيقية، بطبقات أقل وأضيق، ولكن من جميع الأنواع الموجودة في النموذج الأصلي. تبقى ملفات مُجزئ الرموز (tokenizer) والمعالج (processor) الخاصة به دون تغيير. يُنشر هذا النموذج التجريبي مرة واحدة ثم يعاد استخدامه، وتُجرى الاختبارات السريعة عليه على معالج مركزي بسيط (CPU). في الدراسة التي أجراها الفريق على وحدة المعالجة المركزية، بلغ حجم النموذج التجريبي لـ UMT5 66 ميجابايت، مقارنة بـ 1,227 ميجابايت لنقطة الفحص المصدرية. تنطبق هذه الطريقة أيضًا على النماذج الكبيرة جدًا، التي قد لا تتسع بعضها على وحدات معالجة الرسومات القياسية ولكن يمكن تشغيل نموذجها التجريبي على وحدة المعالجة المركزية.
تتجاوز الاختبارات مجرد التحميل وجولة استدلال واحدة. كان من الممكن أن يجتاز خطأ UMT5 تلك الجولة دون صعوبة. لا تحل النماذج التجريبية محل اختبارات التكامل الكاملة، لكنها تمنح فرصة لاكتشاف الأخطاء قبل وصولها إلى الفرع الرئيسي.
يتكون عقد تكامل النموذج (MIC) من ثلاثة عناصر: النموذج التجريبي (fixture)، ومسار استخدام (usage path) (مثال قابل للتنفيذ، مثل توليد نص أو خطوة تدريب)، وخطوط أساسية (baselines) وهي المخرجات المسجلة عند تنفيذ ذلك المثال والمصادق عليها بواسطة إنسان. يُحترم العقد إذا كان التنفيذ على النموذج التجريبي ينتج دائمًا تلك المخرجات المرجعية.
العودة إلى خطأ UMT5
أعاد الفريق تشغيل عقود تكامل النماذج المجمدة على خمسة أشهر من الالتزامات (commits) في Transformers. أبلغ النموذج التجريبي لـ UMT5 عن التراجع منذ إدخاله في 30 يوليو 2026، وحتى تصحيحه في 28 سبتمبر. اختلفت الاحتمالات اللوغاريتمية للعلامات (labels) عن الخط الأساسي المصادق عليه بمقدار 1.22، وكانت خسارة التدريب مختلفة بحوالي 0.20. كان للتفصيل أهمية: استخدم العقد SDPA، مسار الانتباه الافتراضي. لم يكشف تشغيل متغير الانتباه « eager » وحده عن الخطأ. أثناء عرض توضيحي على فرع اختبار في التكامل المستمر (CI) لـ Transformers، بعد إلغاء التصحيح، فشلت عملية التحقق بنفس الفروق، واستغرقت خطوة عداء (runner) T5 13.4 ثانية على وحدة المعالجة المركزية، دون احتساب وقت التثبيت.
توليد العقود بواسطة وكلاء
أداة سطر الأوامر، tmic، تنشئ العقد وتبني النموذج التجريبي. بالنسبة لنموذج جديد، يقوم نموذج لغوي كبير (LLM) بكتابة كود الاستخدام والبيان (manifest)، ثم تقيس عمليات التنفيذ على وحدة المعالجة المركزية ووحدة معالجة الرسومات الخطوط الأساسية المرشحة. وفقًا للفريق، يقوم النموذج اللغوي الكبير بالكتابة لكنه لا يوافق: أي تعديل في التوقعات يتطلب مصادقة بشرية. يوضح تقرير تصغير نموذج Llama 4 Scout هذه الطريقة: 108.6 مليار معامل تصبح 44.7 مليون، وينخفض جزء الرؤية من 34 إلى طبقتين وجزء اللغة من 48 إلى 4.
بالنسبة لنماذج الاختبار، قارن الفريق بين أوزان عشوائية وأخرى مُدربة على عدد قليل من الأمثلة. في دراسة تهيئة الأوزان، اكتشفت النماذج التجريبية العشوائية لـ Whisper 18 خطأً محقونًا من أصل 24، مقابل 24 من أصل 24 للنماذج التجريبية المُدربة. كانت هذه الأخطاء اصطناعية، وفات كلا النسختين خطأ في فك التشفير المساعد (assisted decoding) كشف عنه نقطة الفحص الحقيقية لـ Whisper.
حتى 1 نوفمبر 2026، يُبلغ مهمة MIC في التكامل المستمر (CI) لـ Transformers عن حالات الفشل دون حظر طلبات التعديل. يبقى سؤال جعله حاجزًا مفتوحًا، بسبب عدم وجود قياسات لعدد الأخطاء الحقيقية المكتشفة والإنذارات الكاذبة.
