Con 180 mil millones de parámetros y 32 GB de RAM, Transformers lleva la inferencia MoE al límite

Con 180 mil millones de parámetros y 32 GB de RAM, Transformers lleva la inferencia MoE al límite
3 min de lectura

Una publicación técnica en el sitio Hugging Face describe cómo ejecutar Qwen3.8-Flash-Next, un modelo tipo MoE de 121 GB, en un MacBook con 32 GB de memoria unificada. Al transmitir los expertos directamente desde el SSD, el autor alcanza 13,9 tok/s en generación, aproximadamente un 6 % menos que Strata, un motor de inferencia especializado en este tipo de modelo.

El punto de partida es personal. El autor quiere depender menos de los modelos en línea y ejecutar localmente modelos más grandes. Cuenta con un PC equipado con dos RTX 4090, bajo Windows 11, y un MacBook M5 con 32 GB de memoria unificada. Tras un primer intento con Qwen 3.8 27B, intercambios en redes sociales lo orientaron hacia Strata y Qwen3.8-Flash-Next. Un MoE (mixture of experts) es una arquitectura donde solo una parte de las subredes, llamadas expertos, se activa para cada token, es decir, para cada fragmento de texto procesado. Según la publicación, los expertos representan más del 90 % de los pesos de un modelo MoE, lo que permite mantener en memoria rápida solo los más solicitados.

Comparar los métodos de descarga

Antes de elegir Strata, el autor comparó llama.cpp, vLLM y Transformers en Qwen3.6-35B-A3B, con una tarjeta A10G de 24 GB. Strata alcanza 82 a 88 tok/s en Q8_0, llama.cpp 63 a 64 tok/s con la opción –fit on, y Transformers con Accelerate solo 0,16 tok/s. Harry Mellor reanudó las pruebas de vLLM con mejores parámetros: la configuración más rápida, en FP8 con el descargo de expertos, alcanza 20,1 tok/s.

La publicación retiene una idea central: transformar la caché de expertos en un «slot pool», un tensor único preasignado y compartido por todas las capas. Los identificadores de expertos proporcionados por el enrutador se redirigen a estas ubicaciones, lo que permite usar el núcleo existente de Transformers, grouped_mm, sin escribir cálculos específicos. En OLMoE-1B-7B, la ganancia lleva la velocidad a 34,6 tok/s, frente a 38,1 tok/s para Transformers clásico.

Un Mac de 32 GB para Qwen3.8-Flash-Next

Para el modelo objetivo, los expertos se cuantifican a 3 bits, es decir, 49 GB en disco, con una caché de 12 GiB en el dispositivo. Las capas densas pasan a 8 bits, aproximadamente 5,4 GB, por un sobrecoste de perplejidad del 0,2 % respecto a BF16. La tabla de embeddings n-gram, de 51 GB, permanece en disco y solo se lee cuando es necesario. La conversión toma unas cinco horas. Tras la carga, el modelo ocupa unos 18 GiB, y un prompt de 6.000 tokens alcanza un pico de 25,4 GiB, lo que, según el autor, representa el límite de la máquina: debe cerrar su navegador para evitar que macOS empiece a usar swap.

Una diferencia del 6 % con Strata

Tras varias optimizaciones, las mediciones en el mismo M5 y con los mismos prompts dan 13,9 tok/s en decodificación sobre 200 tokens, frente a 14,8 para Strata. En prellenado sobre un prompt de 4.000 tokens, Transformers alcanza 228 tok/s, frente a 220 para Strata. Entre las ganancias citadas figuran la validación anticipada de los cálculos GPU en MPS, que aporta aproximadamente un 10 %, y el uso de los pesos GGUF de Strata, que reduce el tráfico de las capas densas de 5,4 GB a 3,9 GB por token.

Según el autor, la parte restante se debe sobre todo a los viajes de ida y vuelta entre el host y la GPU, que representan unos 10 ms por token. Considera que esta velocidad aún es insuficiente para un uso diario de agentes de programación: «Orthrus sigue haciendo el trabajo real». La interfaz de programación sigue en discusión con los mantenedores de Transformers.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x