Meta présente Muse Spark Open, un modèle multimodal open-weight de type mixture-of-experts

Meta présente Muse Spark Open, un modèle multimodal open-weight de type mixture-of-experts
3 min de lecture

Meta a présenté Muse Spark Open, un modèle à poids ouverts de grande taille, conçu notamment pour le codage et les tâches « agentiques », c’est-à-dire où le modèle enchaîne plusieurs actions de façon autonome. Selon Hugging Face, qui publie un guide détaillé sur ce modèle, il s’agit du modèle à poids ouverts américain le plus capable à ce jour. Il accepte en entrée du texte, des images, de l’audio et de la vidéo, et ne produit que du texte.

Muse Spark Open est la version de grande taille de la série Muse, dont Meta avait publié en août le modèle compact Muse Glimmer. Il repose sur une architecture à mélange d’experts (MoE), où seule une partie du réseau est activée pour chaque calcul. Le modèle compte environ 816 milliards de paramètres, dont environ 42 milliards sont actifs pour chaque token, l’unité de texte traitée par le modèle. Sa fenêtre de contexte, c’est-à-dire la quantité d’informations qu’il peut prendre en compte en une fois, atteint jusqu’à un million de tokens.

Meta l’a entraîné pour lire une base de code, écrire et déboguer du code, et appeler des outils. Selon Hugging Face, il est optimisé pour des usages réels de développeurs, comme les refactorisations portant sur plusieurs fichiers ou les longues sessions de débogage. Il peut aussi planifier, agir, observer et corriger ses propres erreurs sur de longues tâches, y compris pour naviguer sur le web avec des images.

Une architecture à grande échelle

Chaque couche MoE compte 256 experts, et un routeur en sélectionne 8 pour chaque token. Ces experts concentrent environ 97 % des paramètres du modèle. Tous restent chargés en mémoire, si bien que son déploiement demande la mémoire d’un modèle de 816 milliards de paramètres, tandis que sa vitesse de calcul est celle d’un modèle de 42 milliards. Le point de contrôle BF16 pèse environ 1,5 To au format safetensors. La version NVFP4, stockée en précision 4 bits, est destinée aux GPU NVIDIA Blackwell, avec une perte de précision jugée négligeable.

Pour les images et la vidéo, un encodeur de perception de 1,8 milliard de paramètres transforme les images en tokens. Le module audio produit un token toutes les 80 millisecondes, soit 12,5 tokens par seconde. Par défaut, les vidéos sont échantillonnées à 2 images par seconde, dans la limite de 96 images.

Déploiement et réglage fin

Le modèle est accessible via Transformers, llama.cpp, vLLM, SGLang et MLX. Avec llama.cpp, une version quantifiée en Q2_K tourne à 18 tokens par seconde sur un Mac M3 Ultra de 512 Go. Via oMLX, une version en 3 bits occupe environ 344 Go et atteint 21 tokens par seconde en génération, d’après les tests de Hugging Face. Pour un usage hébergé, Hugging Face propose un déploiement sur Inference Endpoints, avec 8 GPU NVIDIA RTX Pro 6000 de 98 Go pour une fenêtre de 131 072 tokens, ou 8 GPU NVIDIA H200 de 141 Go pour la fenêtre complète d’un million de tokens.

Hugging Face a également montré un réglage fin avec TRL, qui entraîne des adaptateurs LoRA sur les couches d’attention, les experts restant figés. L’entraînement a duré 500 étapes, soit environ deux heures sur 64 GPU H100, à environ 8 000 tokens par seconde. La précision moyenne sur les tokens est passée de 72 % à 84 %, et la perte de 1,26 à 0,57, un signal que l’entraînement s’est bien déroulé, selon l’article.

Les démonstrations publiées illustrent les usages agentiques. Un agent de codage génère et améliore des objets 3D en Three.js, en renvoyant au modèle des captures d’écran de son propre rendu. Un autre agent pilote un navigateur à partir de captures d’écran uniquement, sans accès au code HTML de la page. Un dernier recherche des produits sur Amazon à partir d’une description vocale.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x