Opublikowany na stronie Hugging Face wpis techniczny opisuje, jak uruchomić Qwen3.8-Flash-Next, model typu MoE o rozmiarze 121 GB, na MacBooku z 32 GB zunifikowanej pamięci. Dzięki strumieniowemu ładowaniu ekspertów bezpośrednio z SSD autor osiąga 13,9 tok/s w generacji, czyli około 6% mniej niż Strata, silnik wnioskowania specjalizujący się w tego typu modelach.
Punktem wyjścia jest potrzeba osobista. Autor chce mniej polegać na modelach online i uruchamiać lokalnie większe modele. Dysponuje PC z dwoma RTX 4090 pod Windows 11 oraz MacBookiem M5 z 32 GB zunifikowanej pamięci. Po wstępnej próbie z Qwen 3.8 27B, dyskusje w mediach społecznościowych skierowały go ku Strata i Qwen3.8-Flash-Next. MoE (mixture of experts) to architektura, w której dla każdego tokena, czyli każdego fragmentu przetwarzanego tekstu, aktywowana jest tylko część podsieci zwanych ekspertami. Według wpisu eksperci stanowią ponad 90% wag modelu MoE, co pozwala na przechowywanie w szybkiej pamięci tylko tych najczęściej używanych.
Porównanie metod odciążania
Zanim wybrał Strata, autor porównał llama.cpp, vLLM i Transformers na Qwen3.6-35B-A3B z kartą A10G o pojemności 24 GB. Strata osiąga 82–88 tok/s w Q8_0, llama.cpp 63–64 tok/s z opcją –fit on, a Transformers z Accelerate tylko 0,16 tok/s. Harry Mellor powtórzył testy vLLM z lepszymi parametrami: najszybsza konfiguracja, w FP8 z odciążaniem ekspertów, osiąga 20,1 tok/s.
Wpis przytacza kluczową ideę: przekształcenie pamięci podręcznej ekspertów w „slot pool », pojedynczy, wstępnie alokowany tensor współdzielony przez wszystkie warstwy. Identyfikatory ekspertów dostarczane przez router są przekierowywane do tych slotów, co pozwala na użycie istniejącego rdzenia Transformers, grouped_mm, bez pisania specjalistycznych obliczeń. Na OLMoE-1B-7B przyspieszenie daje 34,6 tok/s w porównaniu do 38,1 tok/s dla klasycznego Transformers.
Mac z 32 GB dla Qwen3.8-Flash-Next
W przypadku docelowego modelu eksperci są kwantyzowani na 3 bity, zajmując 49 GB na dysku, z pamięcią podręczną 12 GiB na urządzeniu. Gęste warstwy przechodzą na 8 bitów, około 5,4 GB, co powoduje wzrost perplexity o 0,2% w porównaniu do BF16. Tabela embeddingów n-gram, o rozmiarze 51 GB, pozostaje na dysku i jest odczytywana tylko w razie potrzeby. Konwersja zajmuje około pięciu godzin. Po załadowaniu model zajmuje około 18 GiB, a prompt o długości 6000 tokenów osiąga szczyt 25,4 GiB, co według autora stanowi granicę maszyny: musi zamknąć przeglądarkę, aby macOS nie zaczął używać pamięci wymiany.
Różnica 6% w stosunku do Strata
Po kilku optymalizacjach pomiary na tym samym M5 i z tymi samymi promptami dają 13,9 tok/s w dekodowaniu na 200 tokenach, wobec 14,8 dla Strata. W przypadku wstępnego wypełniania prompta o długości 4000 tokenów Transformers osiąga 228 tok/s, a Strata 220. Wśród wymienionych zysków znajdują się wczesna walidacja obliczeń GPU na MPS, która daje około 10%, oraz użycie wag GGUF z Strata, które redukuje ruch warstw gęstych z 5,4 GB do 3,9 GB na token.
Według autora pozostała część różnicy wynika głównie z przesyłania danych między hostem a GPU, co zajmuje około 10 ms na token. Uważa on, że ta prędkość jest wciąż niewystarczająca do codziennego użytku agentów programistycznych: „Orthrus wciąż wykonuje prawdziwą pracę ». Interfejs programistyczny pozostaje przedmiotem dyskusji z opiekunami Transformers.
