The AI / news

Olala mini : OVHcloud تعلن عن ذكاء اصطناعي يتسع على بطاقة رسومية سعتها 8 جيجابايت

Olala mini : OVHcloud تعلن عن ذكاء اصطناعي يتسع على بطاقة رسومية سعتها 8 جيجابايت
4 دقيقة للقراءة

كشفت OVHcloud النقاب عن Olala mini 7A1B، أول نموذج لغوي في عائلتها الجديدة: 7 مليارات معامل، منها مليار واحد فقط نشط، مُعلن عنه ليعمل على بطاقة رسومية سعتها 8 جيجابايت، أو حتى على معالج بسيط. من المقرر نشر الأوزان يوم الخميس 19 نوفمبر تحت رخصة Apache 2.0، لكن لا توجد أي نتائج تقييم للجودة ترافقها حتى الآن.

تقدم OVHcloud نموذج Olala mini باعتباره أول ممثل لعائلة نماذج لغوية مصممة داخليًا، وفقًا لبيان صحفي صدر في 17 نوفمبر، في روبيه. سيتم الإطلاق الرسمي يوم الخميس 19 نوفمبر، خلال قمة OVHcloud للذكاء الاصطناعي: في ذلك اليوم، من المقرر أن تنشر المجموعة على Hugging Face الأوزان، والنموذج الأساسي المدرب مسبقًا، وتقريرًا تقنيًا، ووثائق الامتثال لقانون الذكاء الاصطناعي. نشر أوكتاف كلابا، الرئيس التنفيذي لـ OVHcloud، الإعلان على X. في انتظار ذلك، الأرقام المتاحة هي تلك التي قدمتها الشركة.

Olala mini 7A1B: 7 مليارات معامل، لكن مليار واحد فقط نشط

يُقرأ الاسم كورقة بيانات تقنية: 7 مليارات معامل إجمالاً، منها مليار واحد مفعل في كل استعلام، موزعة على 256 خبيرًا في كل طبقة. بمعنى آخر، Olala mini هو نموذج خليط من الخبراء، حيث يعمل جزء فقط من الشبكة على نص معين. ترى OVHcloud فيه نموذجًا أسرع وأقل استهلاكًا للذاكرة.

الانتباه هجين، مع Differential-TPA و Mamba-3، ويصدر النموذج بتنسيق BF16. وفقًا لـ Next، تقلل المكونة الأولى الذاكرة اللازمة للاستدلال وتركز الانتباه على المعلومات المفيدة. أما طبقات Mamba-3، فتعمل على ملخص بحجم ثابت، بينما تزداد ذاكرة الانتباه التقليدية مع تطور المحادثة. تتحدث OVHcloud عن بنية « غير مسبوقة »، لكن لا يزال من غير المعروف كيف تتجمع هذه المكونات.

Olala mini على 8 جيجابايت أو على معالج بسيط: سرعات مُعلن عنها، بدون نتائج تقييم

من ناحية السرعة، تعلن OVHcloud عن 160 رمزًا في الثانية على بطاقة RTX A4500 و 50 رمزًا في الثانية على معالج بسيط، مع نافذة سياق تبلغ 32 ألف رمز. هذه الأرقام تأتي من المجموعة، وليس من اختبار مستقل.

من ناحية أخرى، لا ينشر البيان أي نتائج معايير قياس. إذن نحن نعلم مدى سرعة كتابة Olala mini. لكن ما قيمة إجاباته؟

نقطة أخرى تحتاج إلى توضيح: الذاكرة. سبعة مليارات معامل بتنسيق BF16 (كل منها بايتان) تزن حوالي 14 جيجابايت، أي ضعف الـ 8 جيجابايت المُعلن عنها تقريبًا، والبيان لا يوضح كيف يتم سد هذه الفجوة. بالإضافة إلى ذلك، فإن بطاقة RTX A4500 هي بطاقة احترافية سعتها 20 جيجابايت، مما يعني أن الـ 160 رمزًا في الثانية لم تُقاس على بطاقة سعتها 8 جيجابايت. إذا كنت تخطط لتشغيل Olala mini على جهاز الكمبيوتر الخاص بك، فإن رقم الـ 8 جيجابايت هذا هو أول ما يجب التحقق منه.

تبقى نافذة الـ 32 ألف رمز، التي يرى Next أنها أكثر ملاءمة للإجابات السريعة من الاستعلامات المعقدة. تعد OVHcloud بـ 128 ألف رمز مع الإصدار 1.1.

Qwant تستخدم Olala mini بالفعل: إجابات أسرع بنسبة 20٪، وفقًا لـ OVHcloud

تدعي OVHcloud أن Qwant قد اعتمدت بالفعل Olala mini لوظيفة الإجابة الفورية الخاصة بها: إجابات أسرع بنسبة 20٪ وتكاليف تشغيل أقل بثلاث مرات، مقارنة بالنموذج المستخدم سابقًا. وفقًا لـ Next، كانت Qwant تعتمد حتى الآن على نماذج من Mistral.

هذه التجربة لا تزال تصريحًا من OVHcloud، وليست قياسًا مستقلاً. والسياق له وزنه: Qwant مملوكة لشركة مشتركة بين عائلة كلابا وصندوق الودائع.

Olala mini: 7 ملايين يورو من الحوسبة العامة، ثم أكثر من 100 مليار معامل في الإصدار 2.0

تم تدريب Olala mini على Jupiter و MeluXina و Jean Zay، ثلاثة حواسيب فائقة عامة أوروبية مجهزة بوحدات معالجة رسومية GH200 و A100 و H100. تقدر OVHcloud هذا الدعم بما يعادل 7 ملايين يورو من ساعات الحوسبة، وتشكر السلطات العامة وتقول إنه أدى إلى ظهور فريق استثنائي، أصبح مختبر OVH Agentic: OVHai LLM.

الموارد البشرية لا تزال متواضعة: أقل من مائة شخص يعملون على الذكاء الاصطناعي في OVHcloud، مقارنة بأكثر من 1000 في Mistral، وفقًا لوكالة فرانس برس. يقول أوكتاف كلابا إنه يريد « إثبات إمكانية تدريب نموذج بموارد محدودة ».

فارق بسيط آخر، بشأن وصف « مفتوح »: سيتم نشر الأوزان، والنموذج الأساسي، والتقرير التقني، ووثائق قانون الذكاء الاصطناعي، لكن Next تلاحظ أن الكود وبيانات التدريب غير مذكورين.

تعلن OVHcloud عن المرحلة التالية على مرحلتين. الإصدار 1.1، المتوقع قبل نهاية العام، من المفترض أن يرفع سعة السياق إلى 128 ألف رمز ويحسن التفكير الرياضي. الإصدار 2.0، بدون تاريخ محدد، سيتجاوز 100 مليار معامل وسيأتي في نماذج متخصصة: الوكيلية للشركات (OVHai Workspace، الذي سيتطلب إصداره المشفر نماذج قادرة على العمل محليًا على جهاز العمل)، وتطوير وتشغيل السحابة الإلكترونية، والأمن السيبراني، الدفاعي والهجومي.

يبقى السؤال هل يمكن لإجابات Olala mini أن تتحمل المقارنة مع النماذج المفتوحة الصغيرة الأخرى؟ التقرير التقني، المتوقع يوم الخميس، سيكون أول مكان للبحث عن الإجابة…

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x