LFM2.5-24B-A2B permette di eseguire agenti privati e veloci sul dispositivo

LFM2.5-24B-A2B permette di eseguire agenti privati e veloci sul dispositivo
3 min di lettura

Liquid AI annuncia LFM2.5-24B-A2B, un modello di ragionamento da 24 miliardi di parametri di cui solo 2 miliardi sono attivi per ogni token, progettato per far funzionare agenti veloci e privati direttamente su un dispositivo. Il modello riflette prima di rispondere, chiama strumenti e collega compiti in più fasi all’interno degli ambienti di agenti più utilizzati. Il suo peso aperto è disponibile su Hugging Face.

Il modello riprende l’architettura del suo predecessore, LFM2-24B-A2B, con 40 strati, 64 esperti per blocco MoE (mixture of experts, un tipo di architettura in cui solo una parte della rete è attivata ad ogni calcolo) e un routing top-4. La finestra di contesto passa da 32K a 131K token, e il vocabolario è esteso da 65K a 128K token per segmentare meglio le scritture non latine. A differenza di LFM2-24B-A2B, LFM2.5-24B-A2B è un modello orientato unicamente al ragionamento, che produce una catena di pensiero esplicita prima della sua risposta finale.

Il pre-addestramento è stato portato da circa 17T a circa 33T token. Segue poi un addestramento intermedio, con 2T token a 32K di contesto, privilegiando il ragionamento, la matematica, il codice, il rispetto delle istruzioni e i testi multilingue, poi 300B token a 131K di contesto. La post-formazione trasforma questo modello di base in agente in cinque fasi: una messa a punto supervisionata (SFT), la specializzazione di modelli ‘insegnanti’, due fasi di distillazione sulla politica (MOPD) una su compiti non agentici, l’altra su compiti agentici, e infine un apprendimento per rinforzo agentico, realizzato in ambienti di agenti come OpenClaw, Hermes Agent, Pi e OpenCode.

Risultati annunciati contro modelli più grandi

Liquid AI ha confrontato il suo modello con Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it e Nemotron-3.5-Lightning su 16 benchmark che coprono l’uso di strumenti, le conoscenze, il rispetto delle istruzioni, la matematica e il codice. Secondo l’azienda, LFM2.5-24B-A2B è il più piccolo del gruppo, pur rimanendo competitivo rispetto a modelli che dispongono di circa il 50% di parametri totali e attivi in più. Su LiveClaw, ottiene 48,09 contro 38,19 di Qwen3.6-35B-A3B. Su AutomationBench, raggiunge 27,69, contro 8,72 del miglior concorrente della tabella, secondo i dati pubblicati. Supera anche gli altri modelli sui tre benchmark di rispetto delle istruzioni, tra cui IFEval (96,75) e IFBench (74,69). I modelli più grandi mantengono il vantaggio sui test che richiedono ampie conoscenze, come GPQA Diamond, dove Qwen3.6-35B-A3B mostra 83,69 contro 74,42, e sul codice, ad esempio SWE-Bench Verified (OpenCode), dove ottiene 66,20 contro 51,00. Liquid AI raccomanda quindi di abbinare questo modello a una ricerca documentale o web per gli usi con una forte componente di conoscenze. Le valutazioni sono state effettuate con vLLM, secondo i parametri di generazione raccomandati per ogni benchmark.

Sul piano delle prestazioni hardware, l’azienda indica 184 token al secondo su un Apple M5 Max e 114 token al secondo su un Ryzen AI Max+ 395, cioè fino a 1,7 volte più veloce del modello successivo, consumando la minor quantità di memoria. Su una singola GPU NVIDIA B300, il modello raggiunge fino a 21K token di output al secondo con alta concorrenza.

Il modello è compatibile fin dal suo rilascio con llama.cpp, MLX, vLLM, SGLang e ONNX. Per utilizzarlo con un agente, basta servirlo localmente dietro un’interfaccia compatibile OpenAI, poi indicare l’indirizzo di questo server nell’agente, ad esempio sulla porta 8080 per llama.cpp e MLX, o 8000 per vLLM.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x