OVHcloud si lancia nei LLM con Olala, un piccolo modello open source

OVHcloud si lancia nei LLM con Olala, un piccolo modello open source
3 min di lettura

OVHcloud finora vendeva soprattutto l’infrastruttura per l’intelligenza artificiale, in particolare il noleggio di GPU (processori grafici utilizzati per addestrare e far funzionare i modelli). Con Olala, l’azienda francese progetta ora i propri modelli, il primo dei quali, Olala mini 7A1B, dovrebbe essere pubblicato giovedì 19 novembre.

« Quello che vogliamo dimostrare è che l’Europa ha il suo posto in tutti gli strati dell’intelligenza artificiale », ha dichiarato Octave Klaba, CEO di OVHcloud, all’AFP.

Olala mini, un modello compatto per un uso locale

Olala mini 7A1B si basa su un’architettura a esperti: solo una frazione dei suoi parametri, cioè le sue regolazioni interne, lavora per ogni richiesta. Secondo OVHcloud, questa organizzazione alleggerisce le esigenze di memoria e permette al modello di funzionare in locale, anche su un semplice processore.

Il modello conta 7 miliardi di parametri, di cui 1 miliardo attivato per richiesta, distribuiti tra 256 esperti per strato. La sua architettura ibrida alterna strati di attenzione (Differential-TPA) e strati Mamba-3, progettati per limitare la memoria necessaria. Richiede una GPU con almeno 8 GB di memoria e raggiunge 160 token al secondo (unità di testo elaborate dal modello) su una RTX A4500, contro 50 sulla sola CPU. La sua finestra di contesto, cioè la quantità di testo che può elaborare in una volta, è di 32.000 token.

Il modello sarà pubblicato su Hugging Face, con licenza Apache 2.0, il giorno dell’OVHcloud AI Summit. OVH fornisce i pesi, il modello base pre-addestrato, un rapporto tecnico e una documentazione di conformità all’AI Act. Secondo l’azienda, Qwant lo utilizza già per le risposte flash del suo motore, che sarebbero il 20% più veloci e tre volte meno costose rispetto al modello precedente.

Una roadmap verso oltre 100 miliardi di parametri

Il modello è stato addestrato su tre supercomputer pubblici europei, Jupiter, MeluXina e Jean Zay. Questo aiuto, equivalente a 7 milioni di euro di ore di calcolo, ha dato vita a OVHai LLM, il suo laboratorio agentico. « Il know-how nell’addestramento dei modelli si è ampiamente democratizzato e il costo di un addestramento è stato diviso per 20 in 3 anni », sottolinea Octave Klaba nel comunicato.

La versione 1.1, prevista entro fine anno, dovrebbe portare la finestra di contesto a 128.000 token e progredire nel ragionamento matematico. La versione 2.0 supererà i 100 miliardi di parametri e si declinerà in modelli specializzati: l’agentico per le aziende, destinato ad alimentare OVHai Workspace, il DevOps cloud per sviluppatori, architetti e team operativi, e la cybersecurity, difensiva e offensiva. Con l’AFP, Octave Klaba parla anche di strumenti di assistenza al codice, sul modello di Claude Code o Codex, e punta a 100 milioni di utenti, senza una scadenza precisa.

Una concorrenza diretta con Mistral AI

Olala pone OVHcloud in concorrenza diretta con Mistral AI, su un altro modello economico. La startup francese, valutata oltre 21 miliardi di euro, ha raccolto 3 miliardi di euro a settembre. OVHcloud, redditizia, non intende raccogliere fondi per finanziare la sua strategia IA.

Il suo capo aveva già sottolineato, in un’intervista a La Tribune, che OVH e Mistral erano « molto diversi », confrontando in particolare il fatturato e il numero di clienti delle due aziende. « Non partiamo da zero. Abbiamo una base di clienti, con un marchio OVH », ha insistito con l’AFP.

Tecnicamente, Olala mini si colloca nella categoria dei Ministral 3, i modelli compatti di Mistral AI (3, 8 e 14 miliardi di parametri), anch’essi pensati per un uso locale. Rimane lontano da Mistral Small 4, con i suoi 119 miliardi di parametri e una finestra di contesto otto volte più ampia, e ancor più da Mistral Large 4.

OVH non ha pubblicato alcun benchmark: il comunicato fornisce velocità di trasmissione, ma non punteggi di qualità, il che impedisce per ora qualsiasi confronto numerico con i modelli di Mistral AI.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x