نقلت ميتا نظام JiTTests من مرحلة النموذج الأولي البحثي إلى بنيتها التحتية للإنتاج. يعتمد هذا النظام على نموذج لغوي كبير (LLM، وهو ذكاء اصطناعي مُدرَّب على كميات هائلة من النصوص والكود)، ويكتب اختبارات قابلة للتنفيذ مصممة للفشل عندما تشكل تعديلات الكود خطرًا. وفقًا لفريق ميتا، تمكن النظام من اكتشاف 74 حادثًا متعلقًا بالخصوصية في مرحلة التعديل، خلال النصف الأول من عام 2026.
يقدم الاختبار الفاشل دليلًا ملموسًا على أن التعديل، المُسمى « diff »، قد غيّر سلوك البرنامج. تم وصف المنهجية في ورقة بحثية بعنوان « Just-in-Time Catching Test Generation at Meta »، عُرضت في مؤتمر FSE 2026. تتصرف معظم أدوات اكتشاف الأخطاء بالذكاء الاصطناعي كمراجعين أسرع: فهي تقرأ الـ diff وتترك تعليقات. أما JiTTests، فينفذ الكود ويبرز اختلافًا ملموسًا في السلوك. يعترف الفريق أن هذا النهج يتطلب خطوات حسابية أكثر، لكنه يؤكد أنه يمكّن من اكتشاف فئات من الأخطاء قد تفوتها المراجعة بواسطة LLM أو وكيل ذكي.
مسار عمل من خمس مراحل
في بيئة الإنتاج، يعمل النظام ليلاً، مستفيدًا من قدرات الحوسبة غير المستخدمة، ويختار تعديلات الـ diff المحفوفة بالمخاطر من اليوم السابق باستخدام آلية مشابهة لـ « Diff Risk Score » لدى ميتا. بعد ذلك، ينتج مسارا عمل اثنان الاختبارات المرشحة. الأول، المُسمى « dodgy diff »، يفترض أن كل تعديل يحتوي على خطأ ويعامله كنسخة مختلفة من الإصدار السابق. الثاني، المُسمى « intent-aware »، يستنتج أولاً نية التعديل من خلال كوده وعنوانه وملخصه، ثم يكتب اختبارات للمخاطر التي تم تحديدها.
ثم تلعب عدة نماذج LLM دور الحكام: تُقيّم كل اختبار فاشل بناءً على كوده وتتبع الخطأ والـ diff والنية المستنتجة. النماذج المذكورة في الورقة البحثية هي Llama3.3-70B وGemini 3 Pro وClaude Sonnet 4. بعد ذلك، يكشف مرشح قواعد حتمي، يُدعى RubFake، عن أنماط مثل الانعكاس أو الكائنات المحاكاة المعطلة أو الاستثناءات « غير المنفذة ». أخيرًا، يقرر النظام، بناءً على التصنيف المجمع، ما إذا كان سيستدعي مهندسًا.
نتائج في البحث، ثم في الإنتاج
تركز التحليلات على 22,126 اختبارًا مُولدًا. أنتجت الطرق التي تأخذ في الاعتبار الـ diff أربعة أضعاف المرشحات المحتملة مقارنة باختبارات التصلب، وعشرين ضعفًا مقارنة بالاختبارات التي فشلت بالصدفة. أنتج مسار العمل « intent-aware » « مرشحات ضعيفة »، أي حالات فشل مرشحة وليست أخطاء مؤكدة، في 6.4% من اختباراته (52 من أصل 811) وعلى 7.9% من تعديلات الـ diff. تظهر هذه الأرقام في جدول الورقة البحثية وهي مُعلنة ذاتيًا من قبل ميتا.
كان النشر الأولي أكثر تواضعًا: تم رفع 41 مرشحًا للمهندسين، منهم 8 حالات إيجابية حقيقية مؤكدة، أي بنسبة 19.5%. كان من الممكن أن تتسبب أربعة منها في أعطال خطيرة في الإنتاج. في منشور هندسي نُشر في أكتوبر 2026، تشير ميتا إلى أن 589 مهندسًا تفاعلوا مع JiTTests، أي 64% من أولئك الذين تمت استشارتهم، وأنهم يبلغون عن معدل إيجابيات حقيقية بنسبة 60%. خلال نفس الفترة، انخفضت الحوادث الإجمالية المتعلقة بالخصوصية بنسبة 20%.
أداة داخلية
في هذا النموذج، يحدد المهندسون المعايير ويتابعون النتائج بشكل إجمالي، دون فحص كل اختبار على حدة. وفقًا للفريق، نادرًا ما يقرأون كود الاختبارات ويؤكدون فقط ما إذا كان التغيير الملحوظ في السلوك مقصودًا. لم تنشر ميتا أي كود أو نماذج أو واجهات برمجة تطبيقات: يظل JiTTests أداة داخلية.
