Google DeepMind opublikowało 10 czerwca 2026 roku DiffusionGemma, otwarty i eksperymentalny model językowy, który generuje cały blok tekstu równolegle, zamiast pisać słowo po słowie. Zastosowano w nim proces dyfuzji, który umożliwił powstanie generatorów obrazów takich jak Stable Diffusion. Model jest udostępniany na licencji Apache 2.0.
- Google DeepMind publie DiffusionGemma, un modèle ouvert et expérimental qui génère un bloc de texte en parallèle.
- Contrairement aux modèles autoregressifs, il affine plusieurs tokens à plusieurs reprises avant de figer la séquence.
- Le modèle est sous licence Apache 2.0 et tourne sur un GPU grand public de 18 Go de mémoire vidéo.
- Pour la production, les modèles autoregressifs restent meilleurs face à des milliers de requêtes simultanées.
Większość dużych modeli językowych, takich jak GPT, Claude, Gemini czy Gemma, generuje odpowiedź token token po tokenie, od lewej do prawej, gdzie każdy nowy fragment słowa uwzględnia wszystko, co było wcześniej. DiffusionGemma przełamuje ten schemat. Opiera się na architekturze modelu Gemma 4 26B, typu mieszanka ekspertów, z 26 miliardami parametrów łącznie, z czego 3,8 miliarda jest aktywnych na token. Przyrostek « A4B » w nazwie odnosi się do liczby aktywnych parametrów. Google przedstawia model jako podgląd badań i rozwoju, a nie jako stabilny produkt.
Jeśli chodzi o wejścia, DiffusionGemma akceptuje tekst, obrazy o różnych formatach i rozdzielczościach oraz wideo, ale nie zawiera treści audio. Jego wyjściem jest zawsze tekst. Model jest kwantowany i mieści się w budżecie 18 GB pamięci wideo, co czyni go dostępnym dla wysokiej klasy GPU konsumenckich, takich jak RTX 4090 czy RTX 5090. Zawiera także konfigurowalny tryb refleksji, w którym model rozumuje krok po kroku przed udzieleniem ostatecznej odpowiedzi.
Inny sposób działania
Model autoregresywny generuje token, dodaje go do sekwencji, a następnie powtarza proces. Według Google wąskim gardłem jest wtedy nie tyle obliczenie, co przepustowość pamięci, ponieważ model musi za każdym tokenem ponownie ładować swoje wagi. Po zapisaniu tokenu nie można go już zmienić.
DiffusionGemma zaczyna od obszaru roboczego z 256 tokenami wypełniającymi, zasadniczo szumem, który jednocześnie dopracowuje na kilku przebiegach. Według Google ten proces, zwany Uniform State Diffusion, pozwala najbardziej pewnym tokenom pomagać w rozwiązywaniu pozostałych, aż sekwencja się ustabilizuje. Wtedy obliczenia stają się głównym ograniczeniem, ponieważ procesor ma dużą równoległą pracę do wykonania.
Dla tekstów przekraczających 256 tokenów model działa blokami, według metody, którą Google nazywa denoising block-autoregressive. Zakończony blok jest zapisywany w pamięci podręcznej KV, pamięci już wykonanych obliczeń, a następnie zaczyna się nowy blok. W każdym aktywnym bloku uwaga jest dwukierunkowa. Jeśli zaufanie do tokenu spada w trakcie przetwarzania, sampler może ponownie go zaszumieć i dać mu kolejną szansę, czego model autoregresywny nie potrafi.
Implementacja
Pakiet transformers musi mieć wersję 5.11.0 lub nowszą, w przeciwnym razie model nie jest rozpoznawany. Notatnik Google wskazuje, że karta z ponad 60 GB pamięci, typu A100 lub H100, jest potrzebna do pełnej, niekwantowanej wersji. Ładowanie odbywa się przez dedykowaną klasę DiffusionGemmaForBlockDiffusion, z identyfikatorem google/diffusiongemma-26B-A4B-it. Biblioteka oferuje także TextDiffusionStreamer, który wyświetla stan obszaru roboczego po każdym kroku denoisingu.
Dla usługi produkcyjnej Google współpracowało z zespołem vLLM, aby zintegrować pętlę denoisingu z silnikiem standardowym. Uzyskany serwer udostępnia interfejs kompatybilny z formatem API OpenAI. Google zaleca limit 48 kroków na blok, konwergencja następuje często między 12 a 16 krokami, temperatura liniowo zmienia się od 0,8 do 0,4, a próg entropii wynosi 0,005 dla wcześniejszego zatrzymania. Dla wyboru tokenów zalecana wartość to 0,1.
Google wskazuje na koniec, że przy tysiącach jednoczesnych zapytań w chmurze generowanie autoregresywne, którego przetwarzanie wsadowe jest bardziej dojrzałe, pozostaje najlepszą opcją.
