OVHcloud stapt in de LLM-markt met Olala, een klein open source-model

OVHcloud stapt in de LLM-markt met Olala, een klein open source-model
3 min lezen

OVHcloud verkocht tot nu toe vooral de infrastructuur voor kunstmatige intelligentie, met name de verhuur van GPU’s (grafische processoren gebruikt om modellen te trainen en te laten draaien). Met Olala ontwikkelt het Franse bedrijf nu zijn eigen modellen, waarvan de eerste, Olala mini 7A1B, op donderdag 19 november moet worden gepubliceerd.

« Wat we willen laten zien, is dat Europa een plaats heeft in alle lagen van de kunstmatige intelligentie », zei Octave Klaba, CEO van OVHcloud, tegen AFP.

Olala mini, een compact model voor lokaal gebruik

Olala mini 7A1B is gebaseerd op een mixture-of-experts-architectuur: slechts een fractie van zijn parameters, dat wil zeggen zijn interne instellingen, werkt bij elke aanvraag. Volgens OVHcloud vermindert deze organisatie de geheugenbehoefte en stelt het model in staat lokaal te draaien, zelfs op een eenvoudige processor.

Het model heeft 7 miljard parameters, waarvan 1 miljard per aanvraag wordt geactiveerd, verdeeld over 256 experts per laag. De hybride architectuur wisselt aandachtlagen (Differential-TPA) en Mamba-3-lagen af, ontworpen om het benodigde geheugen te beperken. Het vereist minimaal een GPU met 8 GB geheugen en haalt 160 tokens per seconde (teksteenheden verwerkt door het model) op een RTX A4500, tegenover 50 op alleen een processor. De contextvenster, ofwel de hoeveelheid tekst die het in één keer kan verwerken, bedraagt 32.000 tokens.

Het model wordt op de dag van de OVHcloud AI Summit gepubliceerd op Hugging Face, onder de Apache 2.0-licentie. OVH levert de gewichten, het voorgetrainde basismodel, een technisch rapport en een documentatie over naleving van de AI Act. Volgens het bedrijf gebruikt Qwant het al voor de flash-antwoorden van zijn zoekmachine, die 20% sneller en drie keer goedkoper zouden zijn dan met het vorige model.

Een routekaart naar meer dan 100 miljard parameters

Het model is getraind op drie Europese publieke supercomputers: Jupiter, MeluXina en Jean Zay. Deze steun, gelijk aan 7 miljoen euro aan rekentijd, heeft geleid tot OVHai LLM, zijn agentisch lab. « De knowhow in het trainen van modellen is sterk gedemocratiseerd en de kosten van een training zijn in 3 jaar gedeeld door 20 », benadrukt Octave Klaba in het persbericht.

Versie 1.1, verwacht tegen het einde van het jaar, moet het contextvenster uitbreiden naar 128.000 tokens en vooruitgang boeken in wiskundig redeneren. Versie 2.0 zal meer dan 100 miljard parameters hebben en worden opgesplitst in gespecialiseerde modellen: het agentische model voor bedrijven, bedoeld voor OVHai Workspace, het DevOps cloud-model voor ontwikkelaars, architecten en operationele teams, en cybersecurity, zowel defensief als offensief. Tegen AFP noemt Octave Klaba ook tools voor code-assistentie, vergelijkbaar met Claude Code of Codex, en mikt op 100 miljoen gebruikers, zonder specifieke deadline.

Een directe concurrentie met Mistral AI

Olala plaatst OVHcloud in directe concurrentie met Mistral AI, maar met een ander bedrijfsmodel. Het Franse start-upbedrijf, gewaardeerd op meer dan 21 miljard euro, haalde in september 3 miljard euro op. OVHcloud, winstgevend, is niet van plan geld op te halen om zijn AI-strategie te financieren.

Zijn baas had al benadrukt, in een interview met La Tribune, dat OVH en Mistral « zeer verschillend » zijn, waarbij hij onder meer de omzet en het aantal klanten van beide bedrijven vergeleek. « We beginnen niet vanaf nul. We hebben een klantenbasis, met een OVH-merk », benadrukte hij tegen AFP.

Technisch gezien bevindt Olala mini zich in de categorie van de Ministral 3, de compacte modellen van Mistral AI (3, 8 en 14 miljard parameters), ook bedacht voor lokaal gebruik. Het blijft ver verwijderd van Mistral Small 4, met zijn 119 miljard parameters en een contextvenster acht keer breder, en nog meer van Mistral Large 4.

OVH heeft geen benchmark gepubliceerd: het persbericht geeft doorvoersnelheden, maar geen kwaliteitsscores, waardoor voorlopig elke gekwantificeerde vergelijking met de modellen van Mistral AI onmogelijk is.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x