The AI / news

Meta представляет Muse Spark Open — мультимодальную open-weight модель типа mixture-of-experts

Meta представляет Muse Spark Open — мультимодальную open-weight модель типа mixture-of-experts

Meta представила Muse Spark Open — крупную модель с открытыми весами, предназначенную, в частности, для программирования и «агентских» задач, то есть тех, где модель автономно выполняет цепочку действий. По данным Hugging Face, опубликовавшего подробное руководство по этой модели, это на сегодня самая мощная американская модель с открытыми весами. Она принимает на вход текст, изображения, аудио и видео, а на выходе генерирует только текст.

Muse Spark Open — это крупногабаритная версия серии Muse, компактную модель Muse Glimmer от Meta опубликовали в августе. Она основана на архитектуре mixture-of-experts (MoE), где для каждого вычисления активируется лишь часть сети. Модель содержит около 816 миллиардов параметров, из которых примерно 42 миллиарда активны для каждого токена — единицы текста, обрабатываемой моделью. Её контекстное окно, то есть объём информации, который она может учитывать за один раз, достигает одного миллиона токенов.

Meta обучила её читать базу кода, писать и отлаживать код, а также вызывать инструменты. По данным Hugging Face, она оптимизирована для реальных задач разработчиков, таких как рефакторинг, затрагивающий несколько файлов, или длительные сессии отладки. Она также способна планировать, действовать, наблюдать и исправлять собственные ошибки в ходе длительных задач, включая навигацию в интернете с использованием изображений.

Крупномасштабная архитектура

Каждый слой MoE содержит 256 экспертов, и маршрутизатор выбирает 8 из них для каждого токена. На этих экспертов приходится около 97 % параметров модели. Все они остаются загруженными в память, поэтому для развёртывания требуется память, как для модели на 816 миллиардов параметров, а скорость вычислений соответствует модели на 42 миллиарда. Контрольная точка в формате BF16 весит около 1,5 ТБ в формате safetensors. Версия NVFP4, хранящаяся в 4-битной точности, предназначена для GPU NVIDIA Blackwell, с пренебрежимо малыми потерями точности.

Для изображений и видео энкодер восприятия на 1,8 миллиарда параметров преобразует изображения в токены. Аудиомодуль выдаёт один токен каждые 80 миллисекунд, то есть 12,5 токенов в секунду. По умолчанию видео семплируются с частотой 2 кадра в секунду, в пределах до 96 кадров.

Развёртывание и тонкая настройка

Модель доступна через Transformers, llama.cpp, vLLM, SGLang и MLX. С помощью llama.cpp квантованная версия Q2_K работает со скоростью 18 токенов в секунду на Mac M3 Ultra с 512 ГБ памяти. Через oMLX версия в 3 бита занимает около 344 ГБ и достигает 21 токена в секунду при генерации, согласно тестам Hugging Face. Для размещённого использования Hugging Face предлагает развёртывание на Inference Endpoints с 8 GPU NVIDIA RTX Pro 6000 по 98 ГБ для контекстного окна в 131 072 токена или с 8 GPU NVIDIA H200 по 141 ГБ для полного окна в миллион токенов.

Hugging Face также продемонстрировал тонкую настройку с помощью TRL, которая обучает адаптеры LoRA на слоях внимания, в то время как эксперты остаются замороженными. Обучение заняло 500 шагов, или около двух часов на 64 GPU H100, со скоростью примерно 8000 токенов в секунду. Средняя точность предсказания токенов повысилась с 72 % до 84 %, а значение функции потерь снизилось с 1,26 до 0,57, что, согласно статье, свидетельствует об успешном ходе обучения.

Опубликованные демонстрации иллюстрируют агентское применение. Агент по программированию генерирует и улучшает 3D-объекты в Three.js, возвращая модели скриншоты собственного рендеринга. Другой агент управляет браузером исключительно на основе скриншотов, без доступа к HTML-коду страницы. Третий ищет товары на Amazon по голосовому описанию.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x