Meta ha presentato Muse Spark Open, un modello open-weight di grandi dimensioni, progettato in particolare per la codifica e per compiti « agentici », ovvero dove il modello esegue in sequenza più azioni in modo autonomo. Secondo Hugging Face, che pubblica una guida dettagliata su questo modello, si tratta del modello open-weight statunitense più capace finora. Accetta in input testo, immagini, audio e video, e produce solo testo.
Muse Spark Open è la versione di grandi dimensioni della serie Muse, di cui Meta aveva pubblicato ad agosto il modello compatto Muse Glimmer. Si basa su un’architettura a mixture-of-experts (MoE), dove solo una parte della rete viene attivata per ogni calcolo. Il modello conta circa 816 miliardi di parametri, di cui circa 42 miliardi sono attivi per ogni token, l’unità di testo elaborata dal modello. La sua finestra di contesto, cioè la quantità di informazioni che può considerare in una volta, raggiunge fino a un milione di token.
Meta lo ha addestrato per leggere una base di codice, scrivere e debug del codice, e chiamare strumenti. Secondo Hugging Face, è ottimizzato per utilizzi reali degli sviluppatori, come refactoring che coinvolgono più file o lunghe sessioni di debug. Può anche pianificare, agire, osservare e correggere i propri errori in compiti lunghi, incluso navigare sul web con immagini.
Un’architettura su larga scala
Ogni layer MoE conta 256 esperti, e un router ne seleziona 8 per ogni token. Questi esperti concentrano circa il 97% dei parametri del modello. Tutti rimangono caricati in memoria, per cui il suo dispiegamento richiede la memoria di un modello da 816 miliardi di parametri, mentre la sua velocità di calcolo è quella di un modello da 42 miliardi. Il checkpoint BF16 pesa circa 1,5 TB in formato safetensors. La versione NVFP4, memorizzata in precisione 4 bit, è destinata alle GPU NVIDIA Blackwell, con una perdita di precisione considerata trascurabile.
Per le immagini e il video, un encoder percettivo da 1,8 miliardi di parametri trasforma le immagini in token. Il modulo audio produce un token ogni 80 millisecondi, cioè 12,5 token al secondo. Di default, i video sono campionati a 2 immagini al secondo, fino a un limite di 96 immagini.
Dispiegamento e fine-tuning
Il modello è accessibile via Transformers, llama.cpp, vLLM, SGLang e MLX. Con llama.cpp, una versione quantizzata in Q2_K gira a 18 token al secondo su un Mac M3 Ultra da 512 GB. Tramite oMLX, una versione a 3 bit occupa circa 344 GB e raggiunge 21 token al secondo in generazione, secondo i test di Hugging Face. Per un uso ospitato, Hugging Face propone un dispiegamento su Inference Endpoints, con 8 GPU NVIDIA RTX Pro 6000 da 98 GB per una finestra di 131.072 token, o 8 GPU NVIDIA H200 da 141 GB per la finestra completa di un milione di token.
Hugging Face ha anche mostrato un fine-tuning con TRL, che addestra adattatori LoRA sui layer di attenzione, lasciando congelati gli esperti. L’addestramento è durato 500 step, cioè circa due ore su 64 GPU H100, a circa 8.000 token al secondo. La precisione media sui token è passata dal 72% all’84%, e la loss da 1,26 a 0,57, un segnale che l’addestramento è andato bene, secondo l’articolo.
Le dimostrazioni pubblicate illustrano gli usi agentici. Un agente di codifica genera e migliora oggetti 3D in Three.js, rinviando al modello screenshot del proprio rendering. Un altro agente pilota un browser partendo solo da screenshot, senza accesso al codice HTML della pagina. Un ultimo cerca prodotti su Amazon a partire da una descrizione vocale.
