Meta ha presentado Muse Spark Open, un modelo open-weight de gran tamaño, diseñado especialmente para codificación y tareas « agénticas », es decir, donde el modelo encadena varias acciones de forma autónoma. Según Hugging Face, que publica una guía detallada sobre este modelo, se trata del modelo open-weight estadounidense más capaz hasta la fecha. Acepta como entrada texto, imágenes, audio y vídeo, y solo produce texto.
Muse Spark Open es la versión de gran tamaño de la serie Muse, de la cual Meta había publicado en agosto el modelo compacto Muse Glimmer. Se basa en una arquitectura de mezcla de expertos (MoE), donde solo una parte de la red se activa para cada cálculo. El modelo cuenta con aproximadamente 816 mil millones de parámetros, de los cuales unos 42 mil millones están activos para cada token, la unidad de texto procesada por el modelo. Su ventana de contexto, es decir, la cantidad de información que puede considerar de una vez, alcanza hasta un millón de tokens.
Meta lo ha entrenado para leer una base de código, escribir y depurar código, y llamar a herramientas. Según Hugging Face, está optimizado para usos reales de desarrolladores, como refactorizaciones que abarcan múltiples archivos o largas sesiones de depuración. También puede planificar, actuar, observar y corregir sus propios errores en tareas largas, incluida la navegación web con imágenes.
Una arquitectura a gran escala
Cada capa MoE cuenta con 256 expertos, y un enrutador selecciona 8 para cada token. Estos expertos concentran aproximadamente el 97 % de los parámetros del modelo. Todos permanecen cargados en memoria, por lo que su despliegue requiere la memoria de un modelo de 816 mil millones de parámetros, mientras que su velocidad de cálculo es la de un modelo de 42 mil millones. El punto de control BF16 pesa aproximadamente 1,5 TB en formato safetensors. La versión NVFP4, almacenada en precisión de 4 bits, está destinada a las GPU NVIDIA Blackwell, con una pérdida de precisión considerada insignificante.
Para las imágenes y el vídeo, un codificador de percepción de 1,8 mil millones de parámetros transforma las imágenes en tokens. El módulo de audio produce un token cada 80 milisegundos, es decir, 12,5 tokens por segundo. Por defecto, los vídeos se muestrean a 2 imágenes por segundo, con un límite de 96 imágenes.
Despliegue y ajuste fino
El modelo es accesible a través de Transformers, llama.cpp, vLLM, SGLang y MLX. Con llama.cpp, una versión cuantificada en Q2_K funciona a 18 tokens por segundo en un Mac M3 Ultra de 512 GB. A través de oMLX, una versión en 3 bits ocupa unos 344 GB y alcanza 21 tokens por segundo en generación, según las pruebas de Hugging Face. Para un uso alojado, Hugging Face ofrece un despliegue en Inference Endpoints, con 8 GPU NVIDIA RTX Pro 6000 de 98 GB para una ventana de 131 072 tokens, o 8 GPU NVIDIA H200 de 141 GB para la ventana completa de un millón de tokens.
Hugging Face también ha mostrado un ajuste fino con TRL, que entrena adaptadores LoRA en las capas de atención, manteniendo los expertos congelados. El entrenamiento duró 500 pasos, aproximadamente dos horas en 64 GPU H100, a unos 8 000 tokens por segundo. La precisión media en los tokens pasó del 72 % al 84 %, y la pérdida de 1,26 a 0,57, una señal de que el entrenamiento fue exitoso, según el artículo.
Las demostraciones publicadas ilustran los usos agénticos. Un agente de codificación genera y mejora objetos 3D en Three.js, devolviendo al modelo capturas de pantalla de su propio renderizado. Otro agente pilota un navegador únicamente a partir de capturas de pantalla, sin acceso al código HTML de la página. Un último busca productos en Amazon a partir de una descripción vocal.
