OVH permet di scaricare la sua IA ottimizzata per 8 GB di RAM, e i suoi punteggi la mettono a confronto con Mistral

OVH permet di scaricare la sua IA ottimizzata per 8 GB di RAM, e i suoi punteggi la mettono a confronto con Mistral
4 min di lettura

OVHcloud ha reso disponibile pubblicamente Olala mini 7A1B, il suo primo grande modello linguistico, giovedì 19 novembre a Parigi, durante il suo AI Summit. Presentato due giorni prima senza alcun risultato di test, è ora accompagnato da un rapporto tecnico. Secondo l’hosting provider stesso, è un modello di metà classifica, molto bravo nel seguire istruzioni, ma meno a suo agio in matematica e scienze.

OVHcloud non pubblica un modello, ma cinque. La versione finale, progettata per dialogare, ragionare e utilizzare strumenti, è accompagnata dal modello base, grezzo, senza ottimizzazioni per la conversazione, da una versione intermedia e da due varianti specializzate, una nel riassumere documenti, l’altra nella traduzione. Tutte sono sotto licenza Apache 2.0, che autorizza l’uso commerciale senza contropartite.

L’azienda annuncia anche di pubblicare la ricetta dei suoi dati di addestramento e i suoi strumenti di addestramento, una pratica rara, dato che la maggior parte dei modelli cosiddetti «aperti» si limita ai pesi, cioè al modello stesso. Olala è stato addestrato su 12.800 miliardi di token, frammenti di testo, in inglese e in altre 36 lingue, principalmente europee.

Settimo su diciannove

OVHcloud ha confrontato Olala con 18 modelli di dimensioni comparabili, su dodici test riguardanti il seguire istruzioni, le conoscenze scientifiche, il codice e la matematica. Con una media di 68 su 100, il modello si classifica settimo. Questi punteggi sono quelli dell’azienda, misurati con le sue proprie impostazioni, e nessun organismo indipendente li ha ancora replicati.

Di fronte ai modelli di Mistral, il risultato è contrastante: Olala supera Ministral 3 3B, ma rimane dietro a Ministral 3 8B. Ottiene risultati nettamente migliori rispetto agli altri modelli europei della tabella, come EuroLLM 9B o Apertus 8B, la cui media è inferiore a 32. Dei suoi 7 miliardi di parametri, le regolazioni apprese durante l’addestramento, ne attiva solo un miliardo per ogni parola prodotta, contro i 4 miliardi di Qwen3.5 4B e gli 8 miliardi di Ministral 3 8B. Calcola quindi meno e va più veloce, ma Qwen3.5 4B fa meglio in nove test su dodici.

OVHcloud riconosce esso stesso che il suo modello è «più forte nel seguire istruzioni, più debole in matematica competitiva». Su IFBench, che verifica il rispetto di vincoli precisi, come un numero di parole o un formato imposto, Olala ottiene il 57,7%, il doppio di Ministral 3 8B. Su GPQA Diamond, un test di scienze di livello universitario, raggiunge il 50,5%, contro il 75,8% di Qwen3.5 4B. Olala è progettato per compiti brevi e ripetuti, come riassumere, classificare, estrarre un’informazione o chiamare lo strumento giusto. È stato addestrato a concatenare fino a 75 chiamate di strumenti di fila.

Sul tuo PC, non ancora in due clic

OVHcloud aveva promesso un modello che «sta su un PC senza scheda grafica dedicata». Non è ancora possibile con gli strumenti consumer: Ollama, LM Studio e la versione ufficiale di llama.cpp non sanno ancora caricarlo. Bisogna usare versioni modificate di questi software, pubblicate da OVHcloud, e passare dalla riga di comando.

Una volta installato, il modello rimane leggero. La versione compressa più piccola pesa 6 GB, e OVHcloud non ha pubblicato una versione più compressa, per mancanza di guadagno sufficiente. Su un MacBook Air M5 con 16 GB di memoria, la versione a 6 bit genera circa 70 token al secondo, secondo l’azienda. La versione non compressa richiede 13,6 GB.

Olala ha già un cliente, il motore di ricerca Qwant. Le sue risposte «flash», visualizzate in cima ai risultati, si basano ora sulla versione specializzata nel riassunto. Elabora 3 milioni di richieste al giorno, con tre volte meno risorse rispetto al modello precedente, esso stesso derivato da Mistral, e risposte del 20% più veloci, secondo OVHcloud. Qwant appartiene dal 2023 a una società co-detenuta dalla famiglia Klaba e dalla Caisse des dépôts, e il modello gira sulle GPU di Shadow, acquisito nel 2021 da una società di Octave Klaba. Le tre aziende hanno annunciato questo giovedì un’alleanza per una «IA sovrana end-to-end». Non è stato invece detto nulla sulla qualità dei riassunti.

Una versione 1.1 è attesa entro la fine dell’anno. La sua finestra di contesto, cioè la quantità di testo che il modello tiene in memoria, passerà da 32.000 a 128.000 token. La versione 2.0 supererà i 100 miliardi di parametri. Davanti alla stampa, Octave Klaba ha indicato una forbice da 100 a 300 miliardi per l’inizio del 2027, e punta infine a un modello da 3.000 miliardi di parametri per la cybersecurity e lo sviluppo. Progettato da un team di un centinaio di persone, Olala mini si distingue soprattutto per la sua apertura completa, dati di addestramento inclusi.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x