OVHcloud steigt mit Olala in LLM ein, einem kleinen Open-Source-Modell

OVHcloud steigt mit Olala in LLM ein, einem kleinen Open-Source-Modell
3 Minuten Lesezeit

OVHcloud verkaufte bisher vor allem die Infrastruktur für künstliche Intelligenz, insbesondere die Vermietung von GPUs (Grafikprozessoren, die zum Trainieren und Betreiben von Modellen verwendet werden). Mit Olala entwickelt das französische Unternehmen nun eigene Modelle, von denen das erste, Olala mini 7A1B, am Donnerstag, dem 19. November, veröffentlicht werden soll.

„Was wir zeigen wollen, ist, dass Europa in allen Schichten der künstlichen Intelligenz seinen Platz hat », sagte Octave Klaba, CEO von OVHcloud, gegenüber der AFP.

Olala mini, ein kompaktes Modell für lokalen Einsatz

Olala mini 7A1B basiert auf einer Mixture-of-Experts-Architektur: Nur ein Bruchteil seiner Parameter, also seiner internen Einstellungen, arbeitet bei jeder Anfrage. Laut OVHcloud reduziert diese Organisation den Speicherbedarf und ermöglicht es dem Modell, lokal zu laufen, auch auf einer einfachen CPU.

Das Modell verfügt über 7 Milliarden Parameter, von denen 1 Milliarde pro Anfrage aktiviert wird, verteilt auf 256 Experten pro Schicht. Seine hybride Architektur wechselt zwischen Attention-Schichten (Differential-TPA) und Mamba-3-Schichten, die entwickelt wurden, um den benötigten Speicher zu begrenzen. Es benötigt eine GPU mit mindestens 8 GB Speicher und erreicht 160 Tokens pro Sekunde (Texteinheiten, die vom Modell verarbeitet werden) auf einer RTX A4500, gegenüber 50 auf einer reinen CPU. Sein Kontextfenster, also die Textmenge, die es auf einmal verarbeiten kann, beträgt 32.000 Tokens.

Das Modell wird am Tag des OVHcloud AI Summit auf Hugging Face unter der Apache-2.0-Lizenz veröffentlicht. OVH stellt die Gewichte, das vortrainierte Basismodell, einen technischen Bericht und eine Konformitätsdokumentation zum AI Act bereit. Laut dem Unternehmen nutzt Qwant es bereits für die Flash-Antworten seiner Suchmaschine, die 20 % schneller und dreimal günstiger sein sollen als mit dem vorherigen Modell.

Eine Roadmap zu über 100 Milliarden Parametern

Das Modell wurde auf drei europäischen öffentlichen Supercomputern trainiert: Jupiter, MeluXina und Jean Zay. Diese Unterstützung, die 7 Millionen Euro an Rechenstunden entspricht, führte zur Gründung von OVHai LLM, seinem Agentic Lab. „Das Know-how im Modelltraining hat sich stark demokratisiert und die Kosten für ein Training haben sich in 3 Jahren um das 20-fache verringert », betont Octave Klaba in der Pressemitteilung.

Version 1.1, die bis Ende des Jahres erwartet wird, soll das Kontextfenster auf 128.000 Tokens erweitern und in mathematischem Reasoning Fortschritte machen. Version 2.0 wird über 100 Milliarden Parameter überschreiten und in spezialisierte Modelle aufgeteilt werden: Agentic für Unternehmen, bestimmt für OVHai Workspace, Cloud-DevOps für Entwickler, Architekten und Betriebsteams sowie Cybersicherheit, defensiv wie offensiv. Gegenüber der AFP erwähnt Octave Klaba auch Code-Assistenz-Tools, ähnlich wie Claude Code oder Codex, und strebt 100 Millionen Nutzer an, ohne genaue Frist.

Ein direkter Wettbewerb mit Mistral AI

Olala stellt OVHcloud in direkten Wettbewerb mit Mistral AI, allerdings mit einem anderen Geschäftsmodell. Das französische Startup, mit einer Bewertung von über 21 Milliarden Euro, hat im September 3 Milliarden Euro eingesammelt. OVHcloud, profitabel, plant keine Kapitalerhöhung, um seine KI-Strategie zu finanzieren.

Sein Chef hatte bereits in einem Interview mit La Tribune betont, dass OVH und Mistral „sehr unterschiedlich » seien, und dabei insbesondere den Umsatz und die Kundenanzahl der beiden Unternehmen verglichen. „Wir fangen nicht bei Null an. Wir haben eine Kundenbasis, mit einer OVH-Marke », betonte er gegenüber der AFP.

Technisch gesehen gehört Olala mini in die Kategorie der Ministral 3, der kompakten Modelle von Mistral AI (3, 8 und 14 Milliarden Parameter), die ebenfalls für den lokalen Einsatz gedacht sind. Es bleibt weit hinter Mistral Small 4 zurück, mit seinen 119 Milliarden Parametern und einem achtmal größeren Kontextfenster, und erst recht hinter Mistral Large 4.

OVH hat keine Benchmarks veröffentlicht: Die Pressemitteilung nennt Durchsatzraten, aber keine Qualitätswerte, was derzeit einen quantitativen Vergleich mit den Modellen von Mistral AI unmöglich macht.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x