OVHcloud wkracza w świat LLM z Olala, małym modelem open source

OVHcloud wkracza w świat LLM z Olala, małym modelem open source
3 min czytania

OVHcloud do tej pory sprzedawał głównie infrastrukturę dla sztucznej inteligencji, w szczególności wynajem GPU (procesorów graficznych używanych do trenowania i uruchamiania modeli). Dzięki Olala, francuska firma tworzy teraz własne modele, z których pierwszy, Olala mini 7A1B, ma zostać opublikowany w czwartek 19 listopada.

„Chcemy pokazać, że Europa ma swoje miejsce we wszystkich warstwach sztucznej inteligencji » – powiedział Octave Klaba, prezes OVHcloud, w rozmowie z AFP.

Olala mini, kompaktowy model do użytku lokalnego

Olala mini 7A1B opiera się na architekturze ekspertów: tylko ułamek jego parametrów, czyli wewnętrznych ustawień, pracuje przy każdym zapytaniu. Według OVHcloud, taka organizacja zmniejsza zapotrzebowanie na pamięć i pozwala modelowi działać lokalnie, także na zwykłym procesorze.

Model liczy 7 miliardów parametrów, z czego 1 miliard aktywowany jest na zapytanie, rozdzielonych między 256 ekspertów na warstwę. Jego hybrydowa architektura przeplata warstwy uwagi (Differential-TPA) z warstwami Mamba-3, zaprojektowanymi, aby ograniczyć potrzebną pamięć. Wymaga GPU z co najmniej 8 GB pamięci i osiąga 160 tokenów na sekundę (jednostek tekstu przetwarzanych przez model) na RTX A4500, wobec 50 na samym procesorze. Jego okno kontekstowe, czyli ilość tekstu, którą może przetworzyć za jednym razem, wynosi 32 000 tokenów.

Model zostanie opublikowany na Hugging Face, na licencji Apache 2.0, w dniu OVHcloud AI Summit. OVH udostępnia wagi, wstępnie wytrenowany model bazowy, raport techniczny oraz dokumentację zgodności z AI Act. Według firmy, Qwant już go wykorzystuje do szybkich odpowiedzi swojej wyszukiwarki, które miałyby być o 20% szybsze i trzy razy tańsze niż w przypadku poprzedniego modelu.

Mapa drogowa ku ponad 100 miliardom parametrów

Model został wytrenowany na trzech europejskich superkomputerach publicznych: Jupiter, MeluXina i Jean Zay. Ta pomoc, odpowiadająca 7 milionom euro wartości godzin obliczeniowych, dała początek OVHai LLM, jego agentowemu laboratorium. „Wiedza w zakresie trenowania modeli została w dużej mierze zdemokratyzowana, a koszt treningu spadł 20-krotnie w ciągu 3 lat » – podkreśla Octave Klaba w komunikacie.

Wersja 1.1, oczekiwana do końca roku, ma zwiększyć okno kontekstowe do 128 000 tokenów i poprawić zdolności w zakresie rozumowania matematycznego. Wersja 2.0 przekroczy 100 miliardów parametrów i będzie dostępna w wyspecjalizowanych wariantach: agentowym dla firm, przeznaczonym do zasilania OVHai Workspace, DevOps cloud dla programistów, architektów i zespołów operacyjnych oraz cyberbezpieczeństwa, zarówno defensywnego, jak i ofensywnego. W rozmowie z AFP Octave Klaba wspomina również o narzędziach wspomagających kodowanie, na wzór Claude Code czy Codex, i celuje w 100 milionów użytkowników, bez konkretnego terminu.

Bezpośrednia konkurencja z Mistral AI

Olala stawia OVHcloud w bezpośredniej konkurencji z Mistral AI, przy innym modelu biznesowym. Francuski startup, wyceniany na ponad 21 miliardów euro, zebrał 3 miliardy euro we wrześniu. OVHcloud, będący firmą rentowną, nie planuje pozyskiwać kapitału na finansowanie swojej strategii AI.

Jego szef podkreślał już w wywiadzie dla La Tribune, że OVH i Mistral są „bardzo różne », porównując m.in. przychody i liczbę klientów obu firm. „Nie zaczynamy od zera. Mamy bazę klientów, z marką OVH » – nalegał w rozmowie z AFP.

Technicznie, Olala mini plasuje się w kategorii Ministral 3, kompaktowych modeli Mistral AI (3, 8 i 14 miliardów parametrów), również zaprojektowanych do użytku lokalnego. Pozostaje daleko za Mistral Small 4, z jego 119 miliardami parametrów i ośmiokrotnie szerszym oknem kontekstowym, a tym bardziej za Mistral Large 4.

OVH nie opublikował żadnych benchmarków: komunikat podaje przepustowość, ale nie wyniki jakościowe, co uniemożliwia na razie jakiekolwiek ilościowe porównanie z modelami Mistral AI.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x