OVHcloud heeft Olala mini 7A1B, zijn eerste grote taalmodel, op donderdag 19 november in Parijs tijdens zijn AI Summit in open access geplaatst. Twee dagen eerder gepresenteerd zonder enige testresultaten, wordt het nu vergezeld door een technisch rapport. Volgens de hoster zelf is het een model uit het midden van het peloton, zeer goed in het opvolgen van instructies, maar minder sterk in wiskunde en wetenschappen.
OVHcloud publiceert niet één model, maar vijf. De definitieve versie, ontworpen om te praten, te redeneren en tools te gebruiken, wordt vergezeld door het basismodel, ruw, zonder afstelling voor conversatie, een tussenversie en twee gespecialiseerde varianten, één voor het samenvatten van documenten, de andere voor vertaling. Allemaal zijn ze onder de Apache 2.0-licentie, die commercieel gebruik zonder tegenprestatie toestaat.
Het bedrijf kondigt ook aan de receptuur van zijn trainingsdata en zijn trainingsgereedschappen te publiceren, een zeldzame praktijk, aangezien de meeste zogenaamde ‘open’ modellen zich beperken tot de gewichten, dat wil zeggen het model zelf. Olala is getraind op 12.800 miljard tokens, tekstfragmenten, in het Engels en 36 andere talen, voornamelijk Europese.
Zevende op negentien
OVHcloud heeft Olala vergeleken met 18 modellen van vergelijkbare grootte, op twaalf tests over het opvolgen van instructies, wetenschappelijke kennis, code en wiskunde. Met een gemiddelde van 68 op 100 eindigt het model als zevende. Deze scores zijn van het bedrijf zelf, gemeten met zijn eigen instellingen, en geen onafhankelijke organisatie heeft ze nog gereproduceerd.
Tegenover de modellen van Mistral is het resultaat gemengd: Olala overtreft Ministral 3 3B, maar blijft achter bij Ministral 3 8B. Het behaalt duidelijk betere resultaten dan de andere Europese modellen in de tabel, zoals EuroLLM 9B of Apertus 8B, waarvan het gemiddelde onder de 32 ligt. Van zijn 7 miljard parameters, de instellingen geleerd tijdens de training, activeert het er slechts één miljard voor elk geproduceerd woord, tegenover 4 miljard voor Qwen3.5 4B en 8 miljard voor Ministral 3 8B. Het rekent dus minder en gaat sneller, maar Qwen3.5 4B doet het beter op negen van de twaalf tests.
OVHcloud erkent zelf dat zijn model ‘sterker is in het opvolgen van instructies, zwakker in competitiewiskunde’. Op IFBench, dat controleert of aan specifieke beperkingen wordt voldaan, zoals een aantal woorden of een opgelegd formaat, behaalt Olala 57,7%, het dubbele van Ministral 3 8B. Op GPQA Diamond, een wetenschapstest op universitair niveau, komt het op 50,5%, tegen 75,8% voor Qwen3.5 4B. Olala is ontworpen voor korte en herhaalde taken, zoals samenvatten, classificeren, informatie extraheren of de juiste tool aanroepen. Het is getraind om tot 75 toolaanroepen achter elkaar te verwerken.
Op je PC, nog niet met twee klikken
OVHcloud beloofde een model dat ‘past op een PC zonder speciale grafische kaart’. Dit is nog niet mogelijk met consumenten-tools: Ollama, LM Studio en de officiële versie van llama.cpp kunnen het nog niet laden. Je moet aangepaste versies van deze software gebruiken, gepubliceerd door OVHcloud, en via de opdrachtregel werken.
Eenmaal geïnstalleerd blijft het model lichtgewicht. De kleinste gecomprimeerde versie weegt 6 GB, en OVHcloud heeft geen verder gecomprimeerde versie gepubliceerd vanwege onvoldoende winst. Op een MacBook Air M5 met 16 GB geheugen genereert de 6-bits versie volgens het bedrijf ongeveer 70 tokens per seconde. De ongecomprimeerde versie vereist 13,6 GB.
Olala heeft al een klant, de zoekmachine Qwant. De ‘flash’-antwoorden, bovenaan de resultaten weergegeven, zijn nu gebaseerd op de versie gespecialiseerd in samenvatten. Het verwerkt 3 miljoen vragen per dag, met drie keer minder middelen dan het vorige model, zelf afkomstig van Mistral, en antwoorden die 20% sneller zijn, volgens OVHcloud. Qwant behoort sinds 2023 toe aan een bedrijf mede-eigendom van de familie Klaba en de Caisse des dépôts, en het model draait op de GPU’s van Shadow, in 2021 overgenomen door een bedrijf van Octave Klaba. De drie bedrijven hebben deze donderdag een alliantie aangekondigd voor een ‘end-to-end soevereine AI’. Er is echter niets gezegd over de kwaliteit van de samenvattingen.
Een versie 1.1 wordt tegen het einde van het jaar verwacht. De contextvenster, dat wil zeggen de hoeveelheid tekst die het model in het geheugen houdt, gaat van 32.000 naar 128.000 tokens. Versie 2.0 zal meer dan 100 miljard parameters hebben. Tegenover de pers gaf Octave Klaba een marge van 100 tot 300 miljard aan voor begin 2027, en mikt uiteindelijk op een model van 3.000 miljard parameters voor cybersecurity en ontwikkeling. Ontworpen door een team van ongeveer honderd mensen, onderscheidt Olala mini zich vooral door zijn volledige openheid, inclusief trainingsdata.
