Con 180 miliardi di parametri e 32 GB di RAM, Transformers spinge l’inferenza MoE al limite

Con 180 miliardi di parametri e 32 GB di RAM, Transformers spinge l’inferenza MoE al limite
3 min di lettura

Un post tecnico pubblicato sul sito Hugging Face descrive come far girare Qwen3.8-Flash-Next, un modello MoE da 121 GB, su un MacBook dotato di 32 GB di memoria unificata. Trasferendo gli esperti direttamente dall’SSD, l’autore raggiunge 13,9 tok/s in generazione, circa il 6% in meno di Strata, un motore di inferenza specializzato in questo tipo di modello.

Il punto di partenza è personale. L’autore vuole dipendere meno dai modelli online e far girare localmente modelli più voluminosi. Dispone di un PC equipaggiato con due RTX 4090, sotto Windows 11, e di un MacBook M5 con 32 GB di memoria unificata. Dopo un primo tentativo con Qwen 3.8 27B, alcune discussioni sui social network lo hanno orientato verso Strata e Qwen3.8-Flash-Next. Un MoE (mixture of experts) è un’architettura in cui solo una parte delle sottoreti, chiamate esperti, viene attivata per ogni token, cioè per ogni frammento di testo elaborato. Secondo il post, gli esperti rappresentano oltre il 90% dei pesi di un modello MoE, il che permette di mantenere in memoria rapida solo i più sollecitati.

Confrontare i metodi di scaricamento

Prima di scegliere Strata, l’autore ha confrontato llama.cpp, vLLM e Transformers su Qwen3.6-35B-A3B, con una scheda A10G da 24 GB. Strata raggiunge 82-88 tok/s in Q8_0, llama.cpp 63-64 tok/s con l’opzione –fit on, e Transformers con Accelerate solo 0,16 tok/s. Harry Mellor ha ripetuto i test di vLLM con parametri migliori: la configurazione più veloce, in FP8 con l’expert offloading, raggiunge 20,1 tok/s.

Il post evidenzia un’idea centrale: trasformare la cache degli esperti in un « slot pool », un singolo tensore preallocato e condiviso da tutti i livelli. Gli identificativi degli esperti forniti dal router vengono reindirizzati verso questi slot, il che permette di utilizzare il kernel esistente di Transformers, grouped_mm, senza scrivere calcoli specifici. Su OLMoE-1B-7B, il guadagno porta la velocità a 34,6 tok/s, contro i 38,1 tok/s di Transformers classico.

Un Mac da 32 GB per Qwen3.8-Flash-Next

Per il modello target, gli esperti sono quantizzati su 3 bit, cioè 49 GB su disco, con una cache di 12 GiB sul dispositivo. I livelli densi passano a 8 bit, circa 5,4 GB, per un sovraccarico di perplessità dello 0,2% rispetto al BF16. La tabella di embedding n-gram, da 51 GB, rimane su disco e viene letta solo quando necessario. La conversione richiede circa cinque ore. Dopo il caricamento, il modello occupa circa 18 GiB, e un prompt di 6.000 token raggiunge un picco di 25,4 GiB, il che, secondo l’autore, rappresenta il limite della macchina: deve chiudere il browser per evitare che macOS inizi a usare lo swap.

Uno scarto del 6% con Strata

Dopo diverse ottimizzazioni, le misurazioni sullo stesso M5 e con gli stessi prompt danno 13,9 tok/s in decodifica su 200 token, contro 14,8 per Strata. In pre-riempimento su un prompt di 4.000 token, Transformers raggiunge 228 tok/s, contro 220 per Strata. Tra i guadagni citati figurano la validazione anticipata dei calcoli GPU su MPS, che apporta circa il 10%, e l’uso dei pesi GGUF di Strata, che riduce il traffico dei livelli densi da 5,4 GB a 3,9 GB per token.

Secondo l’autore, la parte rimanente dipende soprattutto dagli scambi tra host e GPU, che rappresentano circa 10 ms per token. Ritiene questa velocità ancora insufficiente per un uso quotidiano di agenti di programmazione: «Orthrus continua a fare il vero lavoro.» L’interfaccia di programmazione rimane in discussione con i manutentori di Transformers.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x