Com 180 mil milhões de parâmetros e 32 GB de RAM, Transformers leva a inferência MoE ao limite

Com 180 mil milhões de parâmetros e 32 GB de RAM, Transformers leva a inferência MoE ao limite
3 min de leitura

Um artigo técnico publicado no site Hugging Face descreve como executar o Qwen3.8-Flash-Next, um modelo MoE de 121 GB, num MacBook com 32 GB de memória unificada. Ao fazer streaming dos especialistas diretamente a partir do SSD, o autor atinge 13,9 tok/s em geração, cerca de 6% menos que o Strata, um motor de inferência especializado neste tipo de modelo.

O ponto de partida é pessoal. O autor quer depender menos de modelos online e executar localmente modelos maiores. Tem um PC equipado com duas RTX 4090, sob Windows 11, e um MacBook M5 com 32 GB de memória unificada. Após uma primeira tentativa com o Qwen 3.8 27B, trocas nas redes sociais orientaram-no para o Strata e o Qwen3.8-Flash-Next. Um MoE (mixture of experts) é uma arquitetura onde apenas uma parte das sub-redes, chamadas especialistas, é ativada para cada token, ou seja, para cada fragmento de texto processado. Segundo o artigo, os especialistas representam mais de 90% dos pesos de um modelo MoE, o que permite manter na memória rápida apenas os mais solicitados.

Comparar os métodos de descarga

Antes de escolher o Strata, o autor comparou llama.cpp, vLLM e Transformers no Qwen3.6-35B-A3B, com uma placa A10G de 24 GB. O Strata atinge 82 a 88 tok/s em Q8_0, o llama.cpp 63 a 64 tok/s com a opção –fit on, e o Transformers com Accelerate apenas 0,16 tok/s. Harry Mellor repetiu os testes do vLLM com melhores parâmetros: a configuração mais rápida, em FP8 com o descarregamento de especialistas, atinge 20,1 tok/s.

O artigo destaca uma ideia central: transformar a cache de especialistas num «slot pool», um tensor único pré-alocado e partilhado por todas as camadas. Os identificadores de especialistas fornecidos pelo router são redirecionados para estas posições, o que permite usar o núcleo existente do Transformers, grouped_mm, sem escrever cálculos específicos. No OLMoE-1B-7B, o ganho eleva a velocidade para 34,6 tok/s, contra 38,1 tok/s para o Transformers clássico.

Um Mac de 32 GB para o Qwen3.8-Flash-Next

Para o modelo alvo, os especialistas são quantizados em 3 bits, ou seja, 49 GB em disco, com uma cache de 12 GiB no dispositivo. As camadas densas passam para 8 bits, cerca de 5,4 GB, para um custo adicional de perplexidade de 0,2% em relação ao BF16. A tabela de embeddings n-gram, de 51 GB, permanece no disco e só é lida quando necessário. A conversão demora cerca de cinco horas. Após carregamento, o modelo ocupa cerca de 18 GiB, e um prompt de 6 000 tokens atinge um pico de 25,4 GiB, o que, segundo o autor, representa o limite da máquina: tem de fechar o navegador para evitar que o macOS comece a usar swap.

Uma diferença de 6% com o Strata

Após várias otimizações, as medições no mesmo M5 e com os mesmos prompts dão 13,9 tok/s em descodificação de 200 tokens, contra 14,8 para o Strata. Em pré-preenchimento de um prompt de 4 000 tokens, o Transformers atinge 228 tok/s, contra 220 para o Strata. Entre os ganhos citados estão a validação antecipada dos cálculos GPU no MPS, que traz cerca de 10%, e o uso dos pesos GGUF do Strata, que reduz o tráfego das camadas densas de 5,4 GB para 3,9 GB por token.

Segundo o autor, a parte restante deve-se sobretudo às idas e voltas entre o hospedeiro e a GPU, que representam cerca de 10 ms por token. Considera esta velocidade ainda insuficiente para um uso diário de agentes de programação: «O Orthrus continua a fazer o verdadeiro trabalho.» A interface de programação continua em discussão com os mantenedores do Transformers.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x