Google DeepMind 10 июня 2026 года представила DiffusionGemma — экспериментальную открытую языковую модель, которая генерирует целый блок текста параллельно, вместо того чтобы писать слово за словом. Она применяет к языку процесс диффузии, который лежит в основе генераторов изображений, таких как Stable Diffusion. Модель распространяется под лицензией Apache 2.0.
Большинство крупных языковых моделей, будь то GPT, Claude, Gemini или Gemma, выдают ответ по одному токену за раз, слева направо, причём каждый новый фрагмент слова учитывает всё предыдущее. DiffusionGemma ломает эту схему. Она основана на архитектуре модели Gemma 4 26B типа смеси экспертов, с общим числом параметров 26 миллиардов, из которых 3,8 миллиарда активны на один токен. Суффикс «A4B» в её названии указывает на это количество активных параметров. Google представляет модель как превью для исследований и разработки, а не как стабильный продукт.
На вход DiffusionGemma принимает текст, изображения (формат и разрешение могут варьироваться), а также видео, но не аудиоконтент. Её вывод — всегда текст. В квантизированном виде она укладывается в бюджет в 18 ГБ видеопамяти, что делает её доступной для потребительских GPU высокого класса, таких как RTX 4090 или RTX 5090. Модель также включает настраиваемый режим размышления, в котором она рассуждает шаг за шагом перед выдачей окончательного ответа.
Другой принцип работы
Авторегрессионная модель генерирует токен, добавляет его к последовательности, затем повторяет. По словам Google, узким местом в этом случае становится не столько вычисления, сколько пропускная способность памяти, поскольку модель должна перезагружать свои веса для каждого токена. После записи токен уже нельзя пересмотреть.
DiffusionGemma начинает с рабочей области из 256 заполняющих токенов, по сути, шума, который она одновременно уточняет за несколько проходов. По словам Google, этот процесс, называемый Uniform State Diffusion, позволяет наиболее уверенным токенам помогать разрешать остальные, пока последовательность не стабилизируется. Основным ограничением тогда становятся вычисления, поскольку процессору предстоит значительная параллельная нагрузка.
Для текстов длиннее 256 токенов модель работает блоками, используя то, что Google называет блочно-авторегрессионным дениоузингом. Завершённый блок сохраняется в KV-кэше — памяти уже выполненных вычислений, — затем начинается новый блок. В каждом активном блоке внимание является двунаправленным. Если уверенность токена снижается в процессе обработки, сэмплер может повторно зашумлять его и давать новый шанс, чего авторегрессионная модель сделать не может.
Реализация
Пакет transformers должен быть версии 5.11.0 или выше, иначе модель не будет распознана. Ноутбук Google указывает, что для полной неквантизированной версии требуется карта с более чем 60 ГБ памяти, такая как A100 или H100. Загрузка осуществляется через специальный класс DiffusionGemmaForBlockDiffusion, используя идентификатор google/diffusiongemma-26B-A4B-it. Библиотека также предоставляет TextDiffusionStreamer, который отображает состояние рабочей области после каждого шага дениоузинга.
Для использования в продакшене Google работала с командой vLLM, чтобы интегрировать цикл дениоузинга в стандартный движок. Полученный сервер предоставляет интерфейс, совместимый с форматом API OpenAI. Google рекомендует ограничить количество шагов на блок 48, поскольку сходимость часто достигается между 12 и 16 шагами, использовать температуру, линейно снижающуюся с 0,8 до 0,4, и порог энтропии 0,005 для ранней остановки. Для выбора токенов рекомендуется значение 0,1.
Google также отмечает, что для тысяч одновременных запросов в облаке авторегрессионная генерация, у которой более зрелая пакетная обработка, остаётся лучшим вариантом.
