NVIDIA hat Nemotron 3.5 Transcribe veröffentlicht, ein Audioeingabe-Sprachmodell mit offenen Gewichten, das für die Transkription entwickelt wurde. Ein einziges Modell verarbeitet 40 Sprachen und Aufnahmen von bis zu 1 Stunde Länge. Eine Textanweisung bestimmt bei jeder Anfrage den gewünschten Ausgabestil, und für Entwickler kann es mehrere separate Werkzeuge für Spracherkennung, Sprecheridentifikation und Alignment ersetzen.
Das Modell, das NVIDIA als Transkriptionsspezialisten und nicht als allgemeinen Assistenten präsentiert, verfügt über insgesamt 34 Milliarden Parameter, von denen etwa 4,3 Milliarden bei jeder Berechnung aktiv sind. Sein Kontextfenster umfasst 65.536 Tokens, also die Text-Einheiten, die es auf einmal verarbeiten kann. Die Ausgabeoptionen umfassen wortwörtliche Transkription, Schriftsprache, Zuordnung der Äußerungen zu jedem Sprecher, Berücksichtigung einer Kontextbegriffsliste und Übersetzung.
Eine Architektur in drei Blöcken
Das System kombiniert einen trainierbaren Audio-Encoder mit 0,6 Milliarden Parametern, der parallel mit einem eingefrorenen Sprecheridentifikationsmodell, Nemotron 3 Diarization, arbeitet. Letzteres verfolgt bis zu 8 Sprecher, und seine Aktivität wird alle 80 ms zu den Audioeigenschaften hinzugefügt. Das Herzstück des Modells ist Nemotron 3.5 Lightning 30B-A3B, eine hybride Mamba-Transformer-Architektur vom Typ MoE (Mixture of Experts, die bei jedem Schritt nur einen Teil der Parameter aktiviert). Schließlich richtet ein CTC-Adapter mit 50 Millionen Parametern den finalen Text am Audio aus, um wortgenaue Zeitstempel zu erzeugen.
Das Modell wurde durch eine Phase des überwachten Fine-Tunings auf 256 H100-GPUs über 28.500 Schritte trainiert, gefolgt von einer kurzen Phase des Reinforcement Learning. Laut dem technischen Bericht von NVIDIA hat es etwa 1,72 Millionen einzigartige Audiostunden gesehen, was inklusive Wiederholungen 6,5 Millionen Stunden entspricht.
Von NVIDIA angekündigte Ergebnisse
Alle untenstehenden Zahlen sind von NVIDIA im technischen Bericht selbst angegeben. Bei neun öffentlichen englischsprachigen Datensätzen des Open ASR Leaderboards erreicht das Modell eine durchschnittliche Wortfehlerrate (WER) von 4,71 %, gegenüber 4,94 % für Qwen3-ASR-1.7B, das nächstbeste offene Modell. Sieben kommerzielle Systeme liegen noch vorne, darunter OtterAI speech-v3.1 mit 3,88 %. Im mehrsprachigen Bereich erzielt es bei sieben Sprachen 4,62 % gegenüber 6,49 % für Qwen3-ASR-1.7B, während ElevenLabs Scribe v2 3,56 % erreicht. Für Mehrsprecher-Meetings gibt NVIDIA eine Rate von 15,80 % (cpWER) an, gegenüber 16,83 % für DiCoW v3.3 in Kombination mit DiariZen. Das Unternehmen behauptet, es sei das erste SALM-Modell, das bei diesem Punkt die Kaskadensysteme übertrifft. Eine Liste benannter Entitäten reduziert die Fehlerquote bei diesen Namen von 12,21 % auf 2,20 % auf ContextASR-Bench. Die Ergebnisse sind für Mandarin bei Meetings schlechter: 34,95 % auf AliMeeting mit entferntem Mikrofon und 32,91 % auf AISHELL-4.
Bereitstellung und Grenzen
Die Gewichte sind in BF16, FP8 und NVFP4 sowie im GGUF-Format verfügbar. Die BF16-Version passt auf eine einzelne 80-GB-H100, FP8 wiegt etwa 35 GB und NVFP4 etwa 21 GB, letztere läuft auf einer RTX 5090. Die Lizenz OpenMDW-1.1 erlaubt kommerzielle Nutzung, laut Quelle. NVIDIA gibt außerdem eine Geschwindigkeit von 2.238-facher Echtzeit auf einer einzelnen RTX PRO 6000 Blackwell mit seiner NIM-Lösung an, doch diese Optimierungen sind noch nicht Open Source, und der bei Veröffentlichung verfügbare vLLM-Weg wäre etwa doppelt so langsam. Das Modell arbeitet ausschließlich offline und ist kein Streaming-Erkennungsdienst. NVIDIA weist zudem auf Schwächen bei Mandarin-Meetings und beim Wechsel der Sprache innerhalb eines Satzes hin.
