Een technische blogpost op de site van Hugging Face beschrijft hoe je Qwen3.8-Flash-Next, een MoE-model van 121 GB, kunt draaien op een MacBook met 32 GB unified memory. Door de experts direct vanaf de SSD te streamen, bereikt de auteur 13,9 tok/s bij generatie, ongeveer 6% minder dan Strata, een inferentie-engine gespecialiseerd in dit soort modellen.
Het uitgangspunt is persoonlijk. De auteur wil minder afhankelijk zijn van online modellen en grotere modellen lokaal draaien. Hij heeft een PC met twee RTX 4090’s, onder Windows 11, en een MacBook M5 met 32 GB unified memory. Na een eerste poging met Qwen 3.8 27B, leidden discussies op sociale media hem naar Strata en Qwen3.8-Flash-Next. Een MoE (mixture of experts) is een architectuur waarbij slechts een deel van de subnetwerken, experts genoemd, wordt geactiveerd voor elke token, dat wil zeggen voor elk verwerkt tekstfragment. Volgens de blogpost vormen de experts meer dan 90% van de gewichten van een MoE-model, waardoor alleen de meest gebruikte in snel geheugen hoeven te blijven.
Vergelijking van offloading-methoden
Voordat hij voor Strata koos, vergeleek de auteur llama.cpp, vLLM en Transformers op Qwen3.6-35B-A3B, met een A10G-kaart van 24 GB. Strata haalt 82 tot 88 tok/s in Q8_0, llama.cpp 63 tot 64 tok/s met de optie –fit on, en Transformers met Accelerate slechts 0,16 tok/s. Harry Mellor heeft de tests van vLLM herhaald met betere parameters: de snelste configuratie, in FP8 met expert offloading, haalt 20,1 tok/s.
De blogpost bevat een kernidee: het omzetten van de expert cache in een ‘slot pool’, een enkele vooraf toegewezen tensor die door alle lagen wordt gedeeld. De expert-ID’s die door de router worden geleverd, worden naar deze slots omgeleid, waardoor de bestaande Transformers-kernel grouped_mm kan worden gebruikt zonder specifieke berekeningen te schrijven. Op OLMoE-1B-7B levert dit een snelheid op van 34,6 tok/s, tegenover 38,1 tok/s voor klassieke Transformers.
Een Mac met 32 GB voor Qwen3.8-Flash-Next
Voor het doelmodel zijn de experts gekwantiseerd op 3 bits, wat neerkomt op 49 GB op schijf, met een cache van 12 GiB op het apparaat. De dense lagen worden omgezet naar 8 bits, ongeveer 5,4 GB, voor een perplexiteitstoename van 0,2% ten opzichte van BF16. De n-gram embedding-tabel van 51 GB blijft op schijf en wordt alleen gelezen wanneer nodig. De conversie duurt ongeveer vijf uur. Na het laden neemt het model ongeveer 18 GiB in beslag, en een prompt van 6000 tokens bereikt een piek van 25,4 GiB, wat volgens de auteur de limiet van de machine is: hij moet zijn browser sluiten om te voorkomen dat macOS swap gaat gebruiken.
Een verschil van 6% met Strata
Na verschillende optimalisaties geven metingen op dezelfde M5 en met dezelfde prompts 13,9 tok/s bij decodering over 200 tokens, tegenover 14,8 voor Strata. Bij prefilling op een prompt van 4000 tokens haalt Transformers 228 tok/s, tegenover 220 voor Strata. Tot de genoemde verbeteringen behoren de vroege validatie van GPU-berekeningen op MPS, die ongeveer 10% oplevert, en het gebruik van de GGUF-gewichten van Strata, wat het verkeer van de dense lagen vermindert van 5,4 GB naar 3,9 GB per token.
Volgens de auteur komt het resterende verschil vooral door de heen-en-weer communicatie tussen host en GPU, wat ongeveer 10 ms per token kost. Hij vindt deze snelheid nog steeds onvoldoende voor dagelijks gebruik van programmeeragents: ‘Orthrus blijft het echte werk doen.’ De programmeerinterface wordt nog besproken met de maintainers van Transformers.
