Meta presenteert Muse Spark Open, een open-weight multimodaal model van het mixture-of-experts-type

Meta presenteert Muse Spark Open, een open-weight multimodaal model van het mixture-of-experts-type

Meta heeft Muse Spark Open gepresenteerd, een groot open-weight model, ontworpen voor onder meer codering en ‘agentische’ taken, waarbij het model zelfstandig meerdere acties aan elkaar koppelt. Volgens Hugging Face, dat een gedetailleerde handleiding over dit model publiceert, is dit het meest capabele Amerikaanse open-weight model tot nu toe. Het accepteert tekst, afbeeldingen, audio en video als invoer en produceert alleen tekst.

Muse Spark Open is de grote versie van de Muse-serie, waarvan Meta in augustus het compacte model Muse Glimmer uitbracht. Het is gebaseerd op een mixture-of-experts-architectuur (MoE), waarbij slechts een deel van het netwerk wordt geactiveerd voor elke berekening. Het model heeft ongeveer 816 miljard parameters, waarvan ongeveer 42 miljard actief zijn voor elke token, de eenheid tekst die door het model wordt verwerkt. De contextvenster, de hoeveelheid informatie die het in één keer kan meenemen, gaat tot een miljoen tokens.

Meta heeft het getraind om een codebase te lezen, code te schrijven en te debuggen, en tools aan te roepen. Volgens Hugging Face is het geoptimaliseerd voor realistisch gebruik door ontwikkelaars, zoals refactoring over meerdere bestanden of lange debugsessies. Het kan ook plannen, handelen, observeren en zijn eigen fouten corrigeren bij lange taken, inclusief navigeren op het web met afbeeldingen.

Een grootschalige architectuur

Elke MoE-laag heeft 256 experts, en een router selecteert er 8 voor elke token. Deze experts bevatten ongeveer 97% van de parameters van het model. Ze blijven allemaal in het geheugen geladen, waardoor voor de implementatie het geheugen van een model van 816 miljard parameters nodig is, terwijl de rekensnelheid die van een model van 42 miljard is. Het BF16-checkpoint weegt ongeveer 1,5 TB in safetensors-formaat. De NVFP4-versie, opgeslagen in 4-bit precisie, is bedoeld voor NVIDIA Blackwell GPU’s, met een verwaarloosbaar geachte precisieverlies.

Voor afbeeldingen en video zet een perceptie-encoder van 1,8 miljard parameters afbeeldingen om in tokens. De audiomodule produceert elke 80 milliseconden een token, oftewel 12,5 tokens per seconde. Standaard worden video’s bemonsterd op 2 frames per seconde, tot een maximum van 96 frames.

Implementatie en fine-tuning

Het model is toegankelijk via Transformers, llama.cpp, vLLM, SGLang en MLX. Met llama.cpp draait een gekwantiseerde Q2_K-versie op 18 tokens per seconde op een Mac M3 Ultra van 512 GB. Via oMLX neemt een 3-bit versie ongeveer 344 GB in beslag en haalt volgens tests van Hugging Face 21 tokens per seconde bij generatie. Voor gehost gebruik biedt Hugging Face een implementatie op Inference Endpoints, met 8 NVIDIA RTX Pro 6000 GPU’s van 98 GB voor een venster van 131.072 tokens, of 8 NVIDIA H200 GPU’s van 141 GB voor het volledige venster van een miljoen tokens.

Hugging Face heeft ook fine-tuning getoond met TRL, waarbij LoRA-adapters worden getraind op de aandachtlagen, terwijl de experts bevroren blijven. De training duurde 500 stappen, ongeveer twee uur op 64 H100 GPU’s, met ongeveer 8.000 tokens per seconde. De gemiddelde tokenprecisie steeg van 72% naar 84%, en het verlies daalde van 1,26 naar 0,57, een teken dat de training goed verliep, volgens het artikel.

De gepubliceerde demonstraties illustreren de agentische toepassingen. Een coderingsagent genereert en verbetert 3D-objecten in Three.js, waarbij het model screenshots van zijn eigen rendering terugstuurt. Een andere agent bestuurt een browser alleen op basis van screenshots, zonder toegang tot de HTML-code van de pagina. Een laatste zoekt producten op Amazon op basis van een gesproken beschrijving.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x