The AI / news

OVHcloud تطلق أولى نماذجها اللغوية الكبيرة مع Olala، نموذج مفتوح المصدر صغير الحجم

OVHcloud تطلق أولى نماذجها اللغوية الكبيرة مع Olala، نموذج مفتوح المصدر صغير الحجم
3 دقيقة للقراءة

كانت OVHcloud تبيع حتى الآن بشكل أساسي البنية التحتية للذكاء الاصطناعي، لا سيما تأجير وحدات معالجة الرسومات (المعالجات الرسومية المستخدمة لتدريب وتشغيل النماذج). مع Olala، تطور الشركة الفرنسية الآن نماذجها الخاصة، وأولها، Olala mini 7A1B، من المقرر نشره يوم الخميس 19 نوفمبر.

صرح أوكتاف كلابا، الرئيس التنفيذي لشركة OVHcloud، لوكالة فرانس برس: «ما نريد إظهاره هو أن لأوروبا مكانتها في جميع طبقات الذكاء الاصطناعي».

Olala mini، نموذج مدمج للاستخدام المحلي

يعتمد نموذج Olala mini 7A1B على هندسة الخبراء: حيث تعمل فقط جزء من معاملاته، أي إعداداته الداخلية، في كل استعلام. وفقًا لـ OVHcloud، يخفف هذا التنظيم من متطلبات الذاكرة ويسمح للنموذج بالعمل محليًا، حتى على معالج عادي.

يحتوي النموذج على 7 مليارات معلمة، يتم تفعيل مليار منها في كل استعلام، موزعة على 256 خبيرًا في كل طبقة. تستخدم هندسته الهجينة طبقات انتباه (Differential-TPA) بالتناوب مع طبقات Mamba-3، المصممة للحد من الذاكرة المطلوبة. يتطلب النموذج وحدة معالجة رسومات بذاكرة لا تقل عن 8 جيجابايت ويصل إلى 160 رمزًا في الثانية (وحدات النص التي يعالجها النموذج) على بطاقة RTX A4500، مقابل 50 على المعالج وحده. نافذة السياق الخاصة به، أي كمية النص التي يمكنه معالجتها دفعة واحدة، هي 32,000 رمز.

سيتم نشر النموذج على Hugging Face، بموجب ترخيص Apache 2.0، في يوم مؤتمر OVHcloud AI Summit. تقدم OVH الأوزان، والنموذج الأساسي المدرب مسبقًا، وتقريرًا تقنيًا، ووثائق الامتثال لقانون الذكاء الاصطناعي. وفقًا للشركة، تستخدم Qwant النموذج بالفعل للإجابات السريعة في محركها، والتي يُقال إنها أسرع بنسبة 20% وأقل تكلفة بثلاث مرات من النموذج السابق.

خارطة طريق نحو أكثر من 100 مليار معلمة

تم تدريب النموذج على ثلاثة حواسيب فائقة عامة أوروبية، هي Jupiter وMeluXina وJean Zay. هذه المساعدة، التي تعادل 7 ملايين يورو من ساعات الحوسبة، أدت إلى ولادة OVHai LLM، مختبرها للوكيلات الذكية. ويشير أوكتاف كلابا في البيان الصحفي: «لقد أصبحت الخبرة في تدريب النماذج متاحة على نطاق واسع وانخفضت تكلفة التدريب إلى الخُمس خلال 3 سنوات».

من المتوقع أن ترفع النسخة 1.1، المقرر إطلاقها قبل نهاية العام، نافذة السياق إلى 128,000 رمز وتحسن الأداء في التفكير الرياضي. ستتجاوز النسخة 2.0 حاجز 100 مليار معلمة وستأتي في نماذج متخصصة: النماذج الوكيلية للشركات، المخصصة لتشغيل OVHai Workspace، ونماذج DevOps السحابية للمطورين والمهندسين المعماريين وفرق التشغيل، ونماذج الأمن السيبراني، الدفاعية والهجومية. وأشار أوكتاف كلابا في حديثه لوكالة فرانس برس أيضًا إلى أدوات مساعدة للترميز، على غرار Claude Code أو Codex، ويهدف إلى جذب 100 مليون مستخدم، دون موعد محدد.

منافسة مباشرة مع Mistral AI

يضع Olala شركة OVHcloud في منافسة مباشرة مع Mistral AI، ولكن بنموذج اقتصادي مختلف. الشركة الناشئة الفرنسية، التي تبلغ قيمتها السوقية أكثر من 21 مليار يورو، جمعت 3 مليارات يورو في سبتمبر. أما OVHcloud، وهي شركة مربحة، فلا تخطط لجمع أموال لتمويل استراتيجيتها في الذكاء الاصطناعي.

كان رئيسها التنفيذي قد أكد سابقًا، في مقابلة مع La Tribune، أن OVH وMistral «مختلفتان جدًا»، مشيرًا على وجه الخصوص إلى مقارنة إيرادات الشركتين وعدد عملائهما. وأكد لوكالة فرانس برس: «نحن لا نبدأ من الصفر. لدينا قاعدة عملاء، مع علامة OVH التجارية».

من الناحية الفنية، يقع Olala mini ضمن فئة نماذج Ministral 3، النماذج المدمجة من Mistral AI (3 و8 و14 مليار معلمة)، والتي صُممت أيضًا للاستخدام المحلي. ولا يزال بعيدًا عن Mistral Small 4، الذي يحتوي على 119 مليار معلمة ونافذة سياق أوسع بثماني مرات، ناهيك عن Mistral Large 4.

لم تنشر OVH أي معايير قياسية مقارنة: يذكر البيان معدلات الإنتاجية، لكن ليس درجات الجودة، مما يحول في الوقت الحالي دون أي مقارنة رقمية مع نماذج Mistral AI.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x