أعلنت جوجل ديب مايند، في 10 يونيو 2026، عن DiffusionGemma، وهو نموذج لغوي مفتوح وتجريبي يولد كتلة نصية كاملة بشكل متوازٍ، بدلاً من الكتابة كلمة بكلمة. يطبق على اللغة عملية الانتشار (Diffusion) التي مكنت منشئات الصور مثل Stable Diffusion. يُوزع النموذج بموجب ترخيص Apache 2.0.
معظم نماذج اللغة الكبيرة، سواء كانت GPT أو Claude أو Gemini أو Gemma، تنتج إجابتها رمزًا واحدًا في كل مرة، من اليسار إلى اليمين، حيث يأخذ كل جزء جديد من الكلمة في الاعتبار كل ما سبق. يكسر DiffusionGemma هذا النمط. يعتمد على بنية نموذج Gemma 4 26B، من نوع خليط الخبراء، بإجمالي 26 مليار معلمة، منها 3.8 مليار معلمة نشطة لكل رمز. يشير اللاحق «A4B» في اسمه إلى هذا العدد من المعلمات النشطة. تقدم جوجل النموذج كلمحة بحث وتطوير، وليس كمنتج مستقر.
من ناحية المدخلات، يقبل DiffusionGemma نصًا وصورًا (قد يختلف تنسيقها ودقتها) بالإضافة إلى مقاطع فيديو، لكنه لا يقبل محتوى صوتيًا. مخرجاته دائمًا نصية. عند تكميمه، يتناسب مع ميزانية ذاكرة فيديو تبلغ 18 جيجابايت، مما يجعله متاحًا لوحدة معالجة رسومية استهلاكية عالية المستوى مثل RTX 4090 أو RTX 5090. كما يتضمن وضع تفكير قابل للتكوين، حيث يستنتج النموذج خطوة بخطوة قبل تقديم إجابته النهائية.
آلية عمل مختلفة
ينتج النموذج الذاتي الارتدادي رمزًا، يضيفه إلى التسلسل، ثم يعيد الكرة. وفقًا لجوجل، فإن عنق الزجاجة يكون هنا أقل في الحساب وأكثر في عرض نطاق الذاكرة، حيث يتعين على النموذج إعادة تحميل أوزانه في كل رمز. بمجرد كتابته، لا يمكن مراجعة الرمز مرة أخرى.
يبدأ DiffusionGemma من منطقة عمل مكونة من 256 رمزًا حشوًا، هي في الأساس ضوضاء، ويحسنها بشكل متزامن عبر عدة مراحل. وفقًا لجوجل، تسمح هذه العملية، المسماة Uniform State Diffusion، للرموز الأكثر تأكيدًا بمساعدة حل الرموز الأخرى، حتى يستقر التسلسل. يصبح الحساب عندها القيد الرئيسي، حيث تتوفر لوحدة المعالجة المركزية عبء عمل متوازٍ كبير.
للنصوص التي تتجاوز 256 رمزًا، يعمل النموذج على شكل كتل، وفقًا لما تسميه جوجل إزالة الضوضاء ذاتي الارتداد على مستوى الكتل. يتم حفظ الكتلة المكتملة في ذاكرة التخزين المؤقت KV، وهي ذاكرة الحسابات التي تم إجراؤها بالفعل، ثم تبدأ كتلة جديدة. داخل كل كتلة نشطة، يكون الاهتمام ثنائي الاتجاه. إذا انخفضت ثقة النموذج في رمز أثناء المعالجة، يمكن للمُجَزِّئ إعادة إضافة الضوضاء إليه ومنحه فرصة جديدة، وهو ما لا يستطيع النموذج الذاتي الارتدادي فعله.
التنفيذ
يجب أن تكون حزمة transformers بالإصدار 5.11.0 أو أحدث، وإلا فلن يتم التعرف على النموذج. تشير دفتر ملاحظات جوجل إلى أن بطاقة تحتوي على أكثر من 60 جيجابايت من الذاكرة، مثل A100 أو H100، مطلوبة للإصدار الكامل غير المكمم. يتم التحميل عبر الفئة المخصصة DiffusionGemmaForBlockDiffusion، من المعرف google/diffusiongemma-26B-A4B-it. توفر المكتبة أيضًا TextDiffusionStreamer، الذي يعرض حالة منطقة العمل بعد كل خطوة من خطوات إزالة الضوضاء.
للخدمة في بيئة الإنتاج، عملت جوجل مع فريق vLLM لدمج حلقة إزالة الضوضاء في المحرك القياسي. يقدم الخادم الناتج واجهة متوافقة مع تنسيق واجهة برمجة تطبيقات OpenAI. توصي جوجل بحد أقصى 48 خطوة لكل كتلة، حيث يحدث التقارب غالبًا بين 12 و16 خطوة، مع درجة حرارة تتناقص خطيًا من 0.8 إلى 0.4 وعتبة إنتروبيا تبلغ 0.005 للتوقف المبكر. لاختيار الرموز، القيمة الموصى بها هي 0.1.
تشير جوجل أخيرًا إلى أنه بالنسبة لآلاف الطلبات المتزامنة في السحابة، يبقى النمط التوليدي الذاتي الارتدادي، الذي يتمتع بمعالجة الدُفعات الأكثر نضجًا، الخيار الأفضل.
