The AI / news

ميتا تقدم Muse Spark Open، نموذج متعدد الوسائط مفتوح الأوزان من نوع خليط الخبراء

ميتا تقدم Muse Spark Open، نموذج متعدد الوسائط مفتوح الأوزان من نوع خليط الخبراء
3 دقيقة للقراءة

قدمت ميتا نموذج Muse Spark Open، وهو نموذج كبير الحجم مفتوح الأوزان، مصمم خصيصًا للبرمجة والمهام «العاملية»، أي تلك التي يقوم فيها النموذج بسلسلة من الإجراءات بشكل مستقل. وفقًا لـ Hugging Face، التي نشرت دليلاً مفصلاً عن هذا النموذج، فهو النموذج الأمريكي مفتوح الأوزان الأكثر قدرة حتى الآن. يستقبل النموذج بيانات نصية ومرئية وسمعية وفيديو، ولا ينتج سوى نصًا.

يعد Muse Spark Open النسخة كبيرة الحجم من سلسلة Muse، والتي كانت ميتا قد نشرت في أغسطس النموذج المدمج Muse Glimmer. يعتمد النموذج على بنية خليط الخبراء (MoE)، حيث يتم تنشيط جزء فقط من الشبكة لكل عملية حسابية. يحتوي النموذج على حوالي 816 مليار معلمة، منها حوالي 42 مليار معلمة نشطة لكل رمز، وهي وحدة النص التي يعالجها النموذج. تصل نافذة السياق الخاصة به، أي كمية المعلومات التي يمكنه أخذها في الاعتبار دفعة واحدة، إلى مليون رمز.

درّبت ميتا النموذج لقراءة قاعدة كود، وكتابة وتصحيح الأخطاء في الكود، واستدعاء الأدوات. وفقًا لـ Hugging Face، فهو مُحسّن للاستخدامات الواقعية للمطورين، مثل إعادة الهيكلة التي تشمل ملفات متعددة أو جلسات التصحيح الطويلة. يمكنه أيضًا التخطيط، والتنفيذ، والمراقبة، وتصحيح أخطائه الخاصة في المهام الطويلة، بما في ذلك التنقل على الويب باستخدام الصور.

بنية على نطاق واسع

تحتوي كل طبقة MoE على 256 خبيرًا، ويختار جهاز توجيه 8 منهم لكل رمز. يركز هؤلاء الخبراء على حوالي 97% من معلمات النموذج. تبقى جميع المعلمات محملة في الذاكرة، مما يعني أن نشر النموذج يتطلب ذاكرة نموذج بحجم 816 مليار معلمة، بينما تكون سرعة الحساب الخاصة به تعادل سرعة نموذج بحجم 42 مليار معلمة. يزن نقطة التحقق BF16 حوالي 1.5 تيرابايت بصيغة safetensors. النسخة NVFP4، المخزنة بدقة 4 بت، مخصصة لبطاقات GPU من NVIDIA Blackwell، مع فقدان في الدقة يُعتبر ضئيلاً.

للمعالجة البصرية والفيديو، يقوم مشفر إدراكي بحجم 1.8 مليار معلمة بتحويل الصور إلى رموز. ينتج وحدة الصوت رمزًا واحدًا كل 80 مللي ثانية، أي بمعدل 12.5 رمزًا في الثانية. بشكل افتراضي، يتم أخذ عينات من مقاطع الفيديو بمعدل صورتين في الثانية، بحد أقصى 96 صورة.

النموذج والضبط الدقيق

يمكن الوصول إلى النموذج عبر Transformers و llama.cpp و vLLM و SGLang و MLX. باستخدام llama.cpp، تعمل نسخة مُكمّنة بدقة Q2_K بسرعة 18 رمزًا في الثانية على جهاز Mac M3 Ultra بسعة 512 جيجابايت. عبر oMLX، تشغل نسخة بدقة 3 بت حوالي 344 جيجابايت وتصل إلى 21 رمزًا في الثانية أثناء التوليد، وفقًا لاختبارات Hugging Face. للاستخدام المُستضاف، تقدم Hugging Face نشرًا على Inference Endpoints، باستخدام 8 بطاقات GPU من نوع NVIDIA RTX Pro 6000 بسعة 98 جيجابايت لنافذة سياق 131,072 رمزًا، أو 8 بطاقات GPU من نوع NVIDIA H200 بسعة 141 جيجابايت للنافذة الكاملة البالغة مليون رمز.

أظهرت Hugging Face أيضًا عملية ضبط دقيق باستخدام TRL، حيث يتم تدريب محولات LoRA على طبقات الانتباه، بينما تبقى الخبراء ثابتة. استمر التدريب لمدة 500 خطوة، أي حوالي ساعتين على 64 بطاقة GPU من نوع H100، بمعدل حوالي 8000 رمز في الثانية. ارتفع متوسط الدقة على الرموز من 72% إلى 84%، وانخفضت الخسارة من 1.26 إلى 0.57، وهو مؤشر على نجاح عملية التدريب، وفقًا للمقال.

توضح العروض التوضيحية المنشورة الاستخدامات العاملية للنموذج. يقوم عامل برمجي بتوليد وتحسين كائنات ثلاثية الأبعاد في Three.js، من خلال إعادة إرسال لقطات شاشة من العرض الذي أنتجه النموذج نفسه. عامل آخر يتحكم في متصفح ويب بناءً على لقطات الشاشة فقط، دون الوصول إلى كود HTML للصفحة. عامل أخير يبحث عن منتجات على أمازون بناءً على وصف صوتي.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x