Ein technischer Beitrag auf der Hugging-Face-Website beschreibt, wie man Qwen3.8-Flash-Next, ein 121 GB großes MoE-Modell, auf einem MacBook mit 32 GB Unified Memory zum Laufen bringt. Durch das Streamen der Experten direkt von der SSD erreicht der Autor 13,9 Tok/s bei der Generierung, etwa 6 % weniger als Strata, eine auf solche Modelle spezialisierte Inferenz-Engine.
Der Ausgangspunkt ist persönlich. Der Autor möchte weniger von Online-Modellen abhängen und größere Modelle lokal ausführen. Er verfügt über einen PC mit zwei RTX 4090 unter Windows 11 und ein MacBook M5 mit 32 GB Unified Memory. Nach einem ersten Versuch mit Qwen 3.8 27B lenkten ihn Diskussionen in sozialen Netzwerken zu Strata und Qwen3.8-Flash-Next. Ein MoE (mixture of experts) ist eine Architektur, bei der für jedes Token, also jedes verarbeitete Textfragment, nur ein Teil der als Experten bezeichneten Subnetze aktiviert wird. Laut dem Beitrag machen die Experten über 90 % der Gewichte eines MoE-Modells aus, sodass nur die am häufigsten genutzten im schnellen Speicher gehalten werden müssen.
Vergleich der Entlademethoden
Bevor er Strata wählte, verglich der Autor llama.cpp, vLLM und Transformers auf Qwen3.6-35B-A3B mit einer 24-GB-A10G-Karte. Strata erreicht 82 bis 88 Tok/s in Q8_0, llama.cpp 63 bis 64 Tok/s mit der Option –fit on und Transformers mit Accelerate nur 0,16 Tok/s. Harry Mellor wiederholte die vLLM-Tests mit besseren Parametern: Die schnellste Konfiguration erreicht in FP8 mit Expert Offloading 20,1 Tok/s.
Der Beitrag greift eine zentrale Idee auf: den Experten-Cache in einen « Slot Pool » zu verwandeln, einen einzigen, vorbelegten Tensor, der von allen Schichten gemeinsam genutzt wird. Die vom Router bereitgestellten Experten-IDs werden auf diese Slots umgeleitet, was die Verwendung des vorhandenen Transformers-Kerns grouped_mm ermöglicht, ohne spezifische Berechnungen schreiben zu müssen. Bei OLMoE-1B-7B steigert dies die Geschwindigkeit auf 34,6 Tok/s gegenüber 38,1 Tok/s für klassisches Transformers.
Ein 32-GB-Mac für Qwen3.8-Flash-Next
Für das Zielmodell werden die Experten auf 3 Bit quantisiert, was 49 GB auf der Festplatte entspricht, mit einem 12 GiB großen Cache auf dem Gerät. Die dichten Schichten werden auf 8 Bit umgestellt, etwa 5,4 GB, was einen Perplexity-Overhead von 0,2 % gegenüber BF16 bedeutet. Die 51 GB große N-Gram-Embedding-Tabelle bleibt auf der Festplatte und wird nur bei Bedarf gelesen. Die Konvertierung dauert etwa fünf Stunden. Nach dem Laden belegt das Modell etwa 18 GiB, und ein Prompt mit 6.000 Token erreicht einen Spitzenwert von 25,4 GiB, was laut Autor die Grenze der Maschine darstellt: Er muss seinen Browser schließen, um zu verhindern, dass macOS auf Swap-Speicher zurückgreift.
Eine Differenz von 6 % zu Strata
Nach mehreren Optimierungen ergeben Messungen auf demselben M5 mit denselben Prompts 13,9 Tok/s beim Decoding über 200 Token gegenüber 14,8 für Strata. Beim Prefilling eines 4.000-Token-Prompts erreicht Transformers 228 Tok/s gegenüber 220 für Strata. Zu den genannten Verbesserungen gehören die vorzeitige Validierung von GPU-Berechnungen auf MPS, die etwa 10 % bringt, und die Verwendung der GGUF-Gewichte von Strata, die den Traffic der dichten Schichten von 5,4 GB auf 3,9 GB pro Token reduziert.
Laut Autor liegt der verbleibende Unterschied hauptsächlich an den Roundtrips zwischen Host und GPU, die etwa 10 ms pro Token ausmachen. Er hält diese Geschwindigkeit für den täglichen Einsatz von Programmieragenten noch für unzureichend: « Orthrus erledigt weiterhin die eigentliche Arbeit. » Die Programmierschnittstelle wird noch mit den Maintainern von Transformers diskutiert.
