A Meta apresentou o Muse Spark Open, um modelo de grande dimensão de pesos abertos, concebido nomeadamente para codificação e tarefas «agentes», ou seja, onde o modelo encadeia várias ações de forma autónoma. Segundo a Hugging Face, que publica um guia detalhado sobre este modelo, trata-se do modelo de pesos abertos norte-americano mais capaz até à data. Aceita como entrada texto, imagens, áudio e vídeo, e produz apenas texto.
O Muse Spark Open é a versão de grande dimensão da série Muse, da qual a Meta tinha publicado em agosto o modelo compacto Muse Glimmer. Assenta numa arquitetura de mistura de peritos (MoE), onde apenas uma parte da rede é ativada para cada cálculo. O modelo tem cerca de 816 mil milhões de parâmetros, dos quais aproximadamente 42 mil milhões estão ativos para cada token, a unidade de texto processada pelo modelo. A sua janela de contexto, ou seja, a quantidade de informações que pode considerar de uma só vez, atinge até um milhão de tokens.
A Meta treinou-o para ler uma base de código, escrever e depurar código, e chamar ferramentas. Segundo a Hugging Face, está otimizado para usos reais de programadores, como refatorações que abrangem vários ficheiros ou longas sessões de depuração. Também pode planear, agir, observar e corrigir os seus próprios erros em tarefas longas, incluindo para navegar na web com imagens.
Uma arquitetura em grande escala
Cada camada MoE tem 256 peritos, e um router seleciona 8 para cada token. Estes peritos concentram cerca de 97% dos parâmetros do modelo. Todos permanecem carregados na memória, pelo que a sua implementação exige a memória de um modelo de 816 mil milhões de parâmetros, enquanto a sua velocidade de cálculo é a de um modelo de 42 mil milhões. O ponto de verificação BF16 pesa cerca de 1,5 TB no formato safetensors. A versão NVFP4, armazenada em precisão de 4 bits, destina-se a GPUs NVIDIA Blackwell, com uma perda de precisão considerada negligenciável.
Para imagens e vídeo, um codificador de perceção de 1,8 mil milhões de parâmetros transforma as imagens em tokens. O módulo de áudio produz um token a cada 80 milissegundos, ou seja, 12,5 tokens por segundo. Por defeito, os vídeos são amostrados a 2 imagens por segundo, até um limite de 96 imagens.
Implementação e afinação
O modelo está acessível via Transformers, llama.cpp, vLLM, SGLang e MLX. Com llama.cpp, uma versão quantizada em Q2_K roda a 18 tokens por segundo num Mac M3 Ultra de 512 GB. Via oMLX, uma versão em 3 bits ocupa cerca de 344 GB e atinge 21 tokens por segundo em geração, segundo os testes da Hugging Face. Para uso alojado, a Hugging Face propõe uma implementação em Inference Endpoints, com 8 GPUs NVIDIA RTX Pro 6000 de 98 GB para uma janela de 131 072 tokens, ou 8 GPUs NVIDIA H200 de 141 GB para a janela completa de um milhão de tokens.
A Hugging Face também demonstrou uma afinação com TRL, que treina adaptadores LoRA nas camadas de atenção, mantendo os peritos congelados. O treino durou 500 passos, ou seja, cerca de duas horas em 64 GPUs H100, a aproximadamente 8 000 tokens por segundo. A precisão média nos tokens passou de 72% para 84%, e a perda de 1,26 para 0,57, um sinal de que o treino decorreu bem, segundo o artigo.
As demonstrações publicadas ilustram os usos agentes. Um agente de codificação gera e melhora objetos 3D em Three.js, devolvendo ao modelo capturas de ecrã da sua própria renderização. Outro agente pilota um navegador a partir apenas de capturas de ecrã, sem acesso ao código HTML da página. Um último procura produtos na Amazon a partir de uma descrição vocal.
