NVIDIAは、音声入力に対応し、重みが公開された転写専用の言語モデル「Nemotron 3.5 Transcribe」をリリースした。単一のモデルで40言語、最大1時間の録音を処理する。テキストによる指示により、各リクエストごとに出力スタイルを指定でき、開発者にとっては、音声認識、話者識別、アライメントといった複数の個別ツールを置き換えることができる。
NVIDIAが汎用アシスタントではなく転写の専門家として位置付けるこのモデルは、総パラメータ数340億、各計算で約43億がアクティブとなる。コンテキストウィンドウは65,536トークン、つまり一度に処理可能なテキスト単位に達する。出力オプションには、逐語的な転写、書き起こし形式、発話ごとの話者割り当て、コンテキストからの用語リストの考慮、翻訳が含まれる。
3ブロックのアーキテクチャ
このシステムは、60億パラメータの学習可能な音声エンコーダと、凍結された話者識別モデル「Nemotron 3 Diarization」を並列に動作させる。後者は最大8人の話者を追跡し、その出力は80ミリ秒ごとに音響特徴量に追加される。モデルのコアは「Nemotron 3.5 Lightning 30B-A3B」で、MoE（Mixture of Experts、各ステップで一部のパラメータのみを活性化）タイプのMamba-Transformerハイブリッドアーキテクチャを採用。最後に、5000万パラメータのCTCアダプターが最終テキストを音声にアライメントし、単語ごとのタイムスタンプを生成する。
モデルは、256基のH100 GPUを用いた教師ありファインチューニングを28,500ステップ実施し、その後短期間の強化学習フェーズを経て学習された。NVIDIAの技術レポートによれば、約172万時間のユニークな音声データ（繰り返しを含めると650万時間）で学習されている。
NVIDIAが発表した結果
以下の数値はすべて、NVIDIAが技術レポートで自己申告したものである。Open ASR Leaderboardの英語の公開データセット9件において、モデルの平均単語誤り率（WER）は4.71%を示し、次点のオープンモデルであるQwen3-ASR-1.7Bの4.94%を上回った。OtterAI speech-v3.1（3.88%）を含む7つの商用システムが依然として先行している。多言語（7言語）では、スコアは4.62%で、Qwen3-ASR-1.7Bの6.49%を上回り、ElevenLabs Scribe v2は3.56%を記録した。複数話者会議では、NVIDIAは15.80%（cpWER）を報告し、DiariZenと組み合わせたDiCoW v3.3の16.83%を下回った。同社は、この点でカスケードシステムを初めて上回ったSALMタイプのモデルであると主張する。また、名前付きエンティティのリストにより、ContextASR-Benchにおけるこれらの名前の誤り率が12.21%から2.20%に低下した。会議形式の北京語（マンダリン）での結果は劣り、遠隔マイクを用いたAliMeetingで34.95%、AISHELL-4で32.91%であった。
デプロイメントと制限事項
重みはBF16、FP8、NVFP4フォーマット、およびGGUFフォーマットで利用可能。BF16版は80GBのH100 1枚に収まり、FP8版は約35GB、NVFP4版は約21GBで、後者はRTX 5090上で動作する。ソースによれば、OpenMDW-1.1ライセンスにより商用利用が許可される。NVIDIAはまた、自社のNIMソリューションを用いた単一のRTX PRO 6000 Blackwell上でリアルタイムの2,238倍の速度を達成したと発表しているが、これらの最適化はまだオープンソース化されておらず、リリース時に利用可能なvLLM経路は約2倍遅いとされる。モデルはオフライン専用であり、ストリーミング音声認識サービスではない。NVIDIAはさらに、北京語での会議や、同一文内での言語切り替えに対する弱点も指摘している。
