Meta hat Muse Spark Open vorgestellt, ein großes Open-Weight-Modell, das insbesondere für Codierung und sogenannte agentische Aufgaben konzipiert ist, bei denen das Modell mehrere Aktionen autonom aneinanderreiht. Laut Hugging Face, das einen detaillierten Leitfaden zu diesem Modell veröffentlicht, handelt es sich um das derzeit leistungsfähigste amerikanische Open-Weight-Modell. Es akzeptiert als Eingabe Text, Bilder, Audio und Video und erzeugt ausschließlich Text.
Muse Spark Open ist die Großversion der Muse-Serie, von der Meta im August bereits das kompakte Modell Muse Glimmer veröffentlicht hatte. Es basiert auf einer Mixture-of-Experts-Architektur (MoE), bei der für jede Berechnung nur ein Teil des Netzwerks aktiviert wird. Das Modell umfasst etwa 816 Milliarden Parameter, von denen pro Token, der Texteinheit, die das Modell verarbeitet, etwa 42 Milliarden aktiv sind. Sein Kontextfenster, also die Menge an Informationen, die es auf einmal berücksichtigen kann, erreicht bis zu einer Million Tokens.
Meta hat es darauf trainiert, eine Codebasis zu lesen, Code zu schreiben und zu debuggen sowie Werkzeuge aufzurufen. Laut Hugging Face ist es für reale Anwendungsfälle von Entwicklern optimiert, wie Refaktorisierungen über mehrere Dateien hinweg oder lange Debugging-Sitzungen. Es kann auch planen, handeln, beobachten und eigene Fehler bei langen Aufgaben korrigieren, einschließlich der Navigation im Web mit Bildern.
Eine groß angelegte Architektur
Jede MoE-Schicht umfasst 256 Experten, und ein Router wählt für jeden Token 8 davon aus. Diese Experten konzentrieren etwa 97 % der Parameter des Modells. Alle bleiben im Speicher geladen, sodass für den Einsatz der Speicher eines Modells mit 816 Milliarden Parametern benötigt wird, während die Rechengeschwindigkeit der eines Modells mit 42 Milliarden Parametern ist. Der BF16-Checkpoint wiegt etwa 1,5 TB im safetensors-Format. Die NVFP4-Version, mit 4-Bit-Genauigkeit gespeichert, ist für NVIDIA-Blackwell-GPUs vorgesehen, mit einem als vernachlässigbar eingestuften Genauigkeitsverlust.
Für Bilder und Video wandelt ein Wahrnehmungs-Encoder mit 1,8 Milliarden Parametern Bilder in Tokens um. Das Audio-Modul erzeugt alle 80 Millisekunden einen Token, also 12,5 Tokens pro Sekunde. Standardmäßig werden Videos mit 2 Bildern pro Sekunde abgetastet, bis zu einer Grenze von 96 Bildern.
Bereitstellung und Feinabstimmung
Das Modell ist über Transformers, llama.cpp, vLLM, SGLang und MLX zugänglich. Mit llama.cpp läuft eine quantisierte Q2_K-Version auf einem Mac M3 Ultra mit 512 GB mit 18 Tokens pro Sekunde. Über oMLX belegt eine 3-Bit-Version etwa 344 GB und erreicht laut Tests von Hugging Face 21 Tokens pro Sekunde bei der Generierung. Für gehostete Nutzung bietet Hugging Face einen Einsatz über Inference Endpoints an, mit 8 NVIDIA RTX Pro 6000 GPUs mit 98 GB für ein Fenster von 131.072 Tokens oder 8 NVIDIA H200 GPUs mit 141 GB für das volle Fenster von einer Million Tokens.
Hugging Face hat auch eine Feinabstimmung mit TRL gezeigt, die LoRA-Adapter auf den Attention-Schichten trainiert, während die Experten eingefroren bleiben. Das Training dauerte 500 Schritte, etwa zwei Stunden auf 64 H100-GPUs, bei etwa 8.000 Tokens pro Sekunde. Die durchschnittliche Token-Genauigkeit stieg von 72 % auf 84 %, und der Verlust sank von 1,26 auf 0,57 – ein Signal, dass das Training gut verlief, so der Artikel.
Die veröffentlichten Demonstrationen veranschaulichen die agentischen Anwendungen. Ein Coding-Agent erzeugt und verbessert 3D-Objekte in Three.js, indem er dem Modell Screenshots seines eigenen Renderings zurücksendet. Ein anderer Agent steuert einen Browser ausschließlich auf Basis von Screenshots, ohne Zugriff auf den HTML-Code der Seite. Ein letzter sucht Produkte auf Amazon anhand einer Sprachbeschreibung.
