The AI / news

180 Миллиардов параметров и 32 ГБ оперативной памяти : Transformers доводит MoE-инференцию до предела

180 Миллиардов параметров и 32 ГБ оперативной памяти : Transformers доводит MoE-инференцию до предела
3 мин чтения

Технический пост на сайте Hugging Face описывает, как запустить Qwen3.8-Flash-Next, MoE-модель размером 121 ГБ, на MacBook с 32 ГБ унифицированной памяти. Загружая экспертов напрямую с SSD, автор достигает скорости генерации 13,9 ток/с, что примерно на 6% меньше, чем у Strata — специализированного движка для инференции подобных моделей.

Исходная мотивация личная. Автор хочет меньше зависеть от онлайн-моделей и запускать более крупные модели локально. В его распоряжении ПК с двумя RTX 4090 под Windows 11 и MacBook M5 с 32 ГБ унифицированной памяти. После первой попытки с Qwen 3.8 27B обсуждения в соцсетях привели его к Strata и Qwen3.8-Flash-Next. MoE (mixture of experts) — это архитектура, в которой для каждого токена (обрабатываемого фрагмента текста) активируется только часть подсетей, называемых экспертами. Согласно посту, эксперты составляют более 90% весов MoE-модели, что позволяет держать в быстрой памяти только наиболее востребованные из них.

Сравнение методов оффлоудинга

Прежде чем выбрать Strata, автор сравнил llama.cpp, vLLM и Transformers на Qwen3.6-35B-A3B с картой A10G на 24 ГБ. Strata достигает 82–88 ток/с в Q8_0, llama.cpp — 63–64 ток/с с опцией –fit on, а Transformers с Accelerate — всего 0,16 ток/с. Гарри Меллор перезапустил тесты vLLM с улучшенными параметрами: самая быстрая конфигурация в FP8 с оффлоудингом экспертов достигает 20,1 ток/с.

В посте выделена ключевая идея: превратить кэш экспертов в единый предварительно выделенный тензор («slot pool»), общий для всех слоев. Идентификаторы экспертов от роутера перенаправляются в эти слоты, что позволяет использовать существующее ядро Transformers grouped_mm без написания специализированных вычислений. На OLMoE-1B-7B это ускорение поднимает скорость до 34,6 ток/с против 38,1 ток/с у классического Transformers.

Mac на 32 ГБ для Qwen3.8-Flash-Next

Для целевой модели эксперты квантованы до 3 бит, занимая 49 ГБ на диске, с кэшем в 12 ГиБ на устройстве. Плотные слои переведены в 8 бит (~5,4 ГБ), что увеличивает перплексию всего на 0,2% по сравнению с BF16. Таблица n-gram эмбеддингов размером 51 ГБ остается на диске и считывается только по необходимости. Конвертация занимает около пяти часов. После загрузки модель занимает примерно 18 ГиБ, а промпт в 6000 токенов вызывает пик в 25,4 ГиБ, что, по словам автора, является пределом машины: ему приходится закрывать браузер, чтобы macOS не начала использовать своп.

Отставание в 6% от Strata

После нескольких оптимизаций замеры на том же M5 с теми же промптами показывают 13,9 ток/с при декодировании 200 токенов против 14,8 у Strata. При предзаполнении промпта в 4000 токенов Transformers достигает 228 ток/с против 220 у Strata. Среди упомянутых улучшений — предварительная валидация вычислений на GPU через MPS (дает около 10%) и использование весов GGUF от Strata, что снижает трафик плотных слоев с 5,4 ГБ до 3,9 ГБ на токен.

По мнению автора, оставшееся отставание связано в основном с обменом данными между хостом и GPU, что занимает около 10 мс на токен. Он считает эту скорость пока недостаточной для повседневного использования программируемых агентов: «Orthrus продолжает выполнять реальную работу». API-интерфейс все еще обсуждается с сопровождающими Transformers.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x