Avec 180 milliards de paramètres et 32 Go de RAM, Transformers pousse l’inférence MoE à la limite

Avec 180 milliards de paramètres et 32 Go de RAM, Transformers pousse l’inférence MoE à la limite
3 min de lecture

Un billet technique publié sur le site Hugging Face décrit comment faire tourner Qwen3.8-Flash-Next, un modèle de type MoE de 121 Go, sur un MacBook doté de 32 Go de mémoire unifiée. En diffusant les experts directement depuis le SSD, l’auteur atteint 13,9 tok/s en génération, soit environ 6 % de moins que Strata, un moteur d’inférence spécialisé dans ce type de modèle.

Le point de départ est personnel. L’auteur veut dépendre moins des modèles en ligne et faire tourner localement des modèles plus volumineux. Il dispose d’un PC équipé de deux RTX 4090, sous Windows 11, et d’un MacBook M5 avec 32 Go de mémoire unifiée. Après un premier essai avec Qwen 3.8 27B, des échanges sur les réseaux sociaux l’ont orienté vers Strata et Qwen3.8-Flash-Next. Un MoE (mixture of experts) est une architecture où seule une partie des sous-réseaux, appelés experts, est activée pour chaque token, c’est-à-dire pour chaque fragment de texte traité. Selon le billet, les experts représentent plus de 90 % des poids d’un modèle MoE, ce qui permet de ne garder en mémoire rapide que les plus sollicités.

Comparer les méthodes de déchargement

Avant de choisir Strata, l’auteur a comparé llama.cpp, vLLM et Transformers sur Qwen3.6-35B-A3B, avec une carte A10G de 24 Go. Strata atteint 82 à 88 tok/s en Q8_0, llama.cpp 63 à 64 tok/s avec l’option –fit on, et Transformers avec Accelerate seulement 0,16 tok/s. Harry Mellor a relancé les tests de vLLM avec de meilleurs paramètres : la configuration la plus rapide, en FP8 avec l’expert offloading, atteint 20,1 tok/s.

Le billet retient une idée centrale : transformer le cache d’experts en un « slot pool », un tenseur unique préalloué et partagé par toutes les couches. Les identifiants d’experts fournis par le routeur sont redirigés vers ces emplacements, ce qui permet d’utiliser le noyau existant de Transformers, grouped_mm, sans écrire de calcul spécifique. Sur OLMoE-1B-7B, le gain porte la vitesse à 34,6 tok/s, contre 38,1 tok/s pour Transformers classique.

Un Mac de 32 Go pour Qwen3.8-Flash-Next

Pour le modèle cible, les experts sont quantifiés sur 3 bits, soit 49 Go sur disque, avec un cache de 12 GiB sur l’appareil. Les couches denses passent en 8 bits, environ 5,4 Go, pour un surcoût de perplexité de 0,2 % par rapport au BF16. La table d’embeddings n-gram, de 51 Go, reste sur disque et n’est lue que lorsque c’est nécessaire. La conversion prend environ cinq heures. Après chargement, le modèle occupe environ 18 GiB, et un prompt de 6 000 tokens atteint un pic de 25,4 GiB, ce qui, selon l’auteur, représente la limite de la machine : il doit fermer son navigateur pour éviter que macOS ne se mette à utiliser le swap.

Un écart de 6 % avec Strata

Après plusieurs optimisations, les mesures sur le même M5 et avec les mêmes prompts donnent 13,9 tok/s en décodage sur 200 tokens, contre 14,8 pour Strata. En préremplissage sur un prompt de 4 000 tokens, Transformers atteint 228 tok/s, contre 220 pour Strata. Parmi les gains cités figurent la validation anticipée des calculs GPU sur MPS, qui apporte environ 10 %, et l’utilisation des poids GGUF de Strata, qui réduit le trafic des couches denses de 5,4 Go à 3,9 Go par token.

Selon l’auteur, la partie restante tient surtout aux allers-retours entre l’hôte et le GPU, qui représentent environ 10 ms par token. Il juge cette vitesse encore insuffisante pour un usage quotidien d’agents de programmation : « Orthrus continue de faire le vrai travail. » L’interface de programmation reste en discussion avec les mainteneurs de Transformers.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x