Google DeepMindは2026年6月10日、DiffusionGemmaを公開した。これは単語を一つずつ順番に生成するのではなく、テキストブロック全体を並列で生成するオープンで実験的な言語モデルだ。Stable Diffusionのような画像生成器を可能にした拡散プロセスを言語に適用している。このモデルはApache 2.0ライセンスで配布されている。
GPT、Claude、Gemini、Gemmaといったほとんどの大規模言語モデルは、応答をトークン単位で左から右へと順次生成し、各新しい単語の断片はそれ以前のすべてを考慮する。DiffusionGemmaはこの方式を打破する。Gemma 4 26Bモデルのアーキテクチャを基盤としており、エキスパート混合タイプで、総パラメータ数は260億、うちトークンごとに38億がアクティブとなる。モデル名の接尾辞「A4B」はこのアクティブパラメータ数を示す。Googleはこのモデルを安定した製品ではなく、研究開発のプレビューとして位置づけている。
入力側では、DiffusionGemmaはテキスト、フォーマットや解像度が異なる可能性のある画像、動画を受け入れるが、音声コンテンツは受け付けない。出力は常にテキストとなる。量子化版では、18GBのビデオメモリ予算に収まり、RTX 4090やRTX 5090のようなハイエンドコンシューマーGPUでも動作可能だ。また、モデルが最終的な回答を出す前に段階的に推論を行う、設定可能な思考モードも備えている。
異なる動作原理
自己回帰モデルはトークンを1つ生成し、それをシーケンスに追加し、その後繰り返す。Googleによれば、この場合のボトルネックは計算よりもメモリ帯域幅にあり、モデルは各トークンごとに重みを再ロードしなければならない。一度書き込まれたトークンは修正できない。
DiffusionGemmaは、基本的にノイズである256トークンの作業領域から始め、複数のパスで同時に洗練していく。Googleによると、このUniform State Diffusionと呼ばれるプロセスにより、最も確信度の高いトークンが他のトークンの解決を助け、シーケンスが安定するまで続けられる。これにより、プロセッサが大量の並列ワークロードを処理するため、計算が主な制約要因となる。
256トークンを超えるテキストの場合、モデルはGoogleがブロック自己回帰的ノイズ除去と呼ぶ方式でブロック単位で処理する。完了したブロックはKVキャッシュ（既に行われた計算のメモリ）に保存され、新しいブロックが開始される。各アクティブブロック内では、アテンションは双方向となる。処理中にトークンの確信度が低下した場合、サンプラーはそれを再ノイズ化し、新たな機会を与えることができ、これは自己回帰モデルでは不可能なことだ。
実装
transformersパッケージはバージョン5.11.0以降である必要があり、そうでない場合モデルは認識されない。Googleのノートブックによると、非量子化の完全版にはA100やH100のような60GB以上のメモリを搭載したカードが必要だ。ロードは専用クラスDiffusionGemmaForBlockDiffusionを使用し、識別子google/diffusiongemma-26B-A4B-itから行う。ライブラリはまた、各ノイズ除去ステップ後の作業領域の状態を表示するTextDiffusionStreamerも提供している。
本番環境でのサービス提供のために、GoogleはvLLMチームと協力し、ノイズ除去ループを標準エンジンに統合した。得られたサーバーはOpenAI APIフォーマットと互換性のあるインターフェースを公開する。Googleは、ブロックあたり48ステップの制限を推奨しており、収束は12〜16ステップの間で起こることが多く、温度は0.8から0.4へ線形に変化させ、早期停止のためのエントロピー閾値は0.005を推奨する。トークン選択には0.1の値が推奨される。
Googleは最後に、クラウドでの数千の同時リクエストに対しては、バッチ処理がより成熟している自己回帰生成が依然として最良の選択肢であると述べている。
