NVIDIAは、3Bおよび8Bパラメータのバリエーションを持つ、オープンな14のチェックポイントのコレクションであるNemotron-Labs-Sigmaを公開した。この言語モデルファミリーは、連続拡散のアプローチを採用している。16次元の滑らかな潜在空間でテキストのノイズ除去を行う。NVIDIAチームによれば、この手法により、テキスト生成における少ステップ蒸留と生成軌道の制御がより実用的になるとしている。
LLaDAやDreamのような多くの拡散モデルは、離散的なトークン、つまり別々の状態として扱われるテキスト単位を操作する。Sigmaは連続空間で動作する。各トークンは埋め込み空間内の点として表現され、これはモデルによって学習された数値表現である。学習中、これらの表現にガウシアンノイズが追加され、モデルはそのノイズを除去する方法を学習する。この空間の幾何学は、ノイズ除去モデルと同時に学習される。
多段階のアーキテクチャと学習
生成はブロック単位で行われる。各ノイズ除去されたブロックは、次のブロックの処理が始まる前に、既に行われた計算を保持するメモリであるKVキャッシュに保存される。デフォルトでは、ブロックは64トークンで構成される。アーキテクチャは、グループ化クエリアテンション、SwiGLU、回転埋め込みを備えたMinistral型Transformerデコーダをベースとしている。
学習は、約1Tトークンを用いた自己回帰的な事前学習(単語ごとの生成)から始まる。その後、約0.3Tトークンを用いた拡散学習が行われる。推論については、モデルカードでは、分類器不要ガイダンスを3、スコア温度を0.3、DDIMステップ数を32とすることを推奨している。ベースモデルのコンテキストウィンドウは4,096トークンで、Sigma-8B-instructでは8,192トークンである。
NVIDIAの6タスクからなるベンチマークスイートにおいて、ベースのSigma-8Bは平均71.16を記録し、NLD-8B (70.22)、Dream-7B (58.74)、LLaDA-8B (41.78)を上回った。自己回帰モードのQwen3-8Bは68.91を記録した。このモデルはプログラミングで優れており、HumanEvalで65.12を記録(NLD-8Bは62.80)。しかし、MBPPでは65.74(NLD-8Bは67.00)と後れを取った。
教師ありファインチューニング後、Sigma-8B-instructはGSM8Kで91.96、MATH-500で78.40、HumanEvalで82.50を記録した。難しい推論タスクでは限界があり、AIME24で23.33、AIME25で17.00となった。10タスクの平均スコアは59.14に達し、NLD-8Bの59.92をわずかに下回った。これらのスコアはNVIDIAによる評価結果である。
速度とデプロイメント
蒸留バリアントであるSigma-distill-8B-nfe8は、32トークンの各ブロックをノイズ除去モデルの8回の呼び出しと最終的な読み取りでデコードする。そのモデルカードによれば、6タスクの平均スコアは70.34で、GSM8Kで88.44、HumanEvalで65.18を記録している。distill-specバリアントは推測的デコードを追加する。拡散ヘッドが32トークンのブロックを提案し、モデルの自己回帰ヘッドがそれを検証する。NVIDIAによれば、結果は貪欲な自己回帰デコードと同一である。
GB200とSGLang上では、8B推測モデルは、自己回帰デコードと比較して平均3.46倍高速であり、NLD-8Bの3.04倍を上回った。ピーク性能は8Bモデルで4.20倍、3Bモデルで3.18倍に達した。これらの測定値はNVIDIAによる自主申告である。
14のチェックポイントは、商用利用を許可すると記載されているNVIDIA Nemotron Open Modelライセンスの下、Hugging Faceで利用可能である。これらはAmpere、Lovelace、Hopper、BlackwellアーキテクチャのCUDA GPUとbfloat16を必要とし、CPU上での推論はサポートしていない。H100上では、ベースモデルは約120〜140トークン/秒を生成する。NVIDIAはAPIをホストしていない。
