NVIDIA heeft Nemotron 3.5 Transcribe uitgebracht, een open-source taalmodel met audio-ingang dat speciaal is ontworpen voor transcriptie. Eén model verwerkt 40 talen en opnames tot 1 uur lang. Een tekstinstructie bepaalt per verzoek de gewenste uitvoerstijl, en voor ontwikkelaars kan het meerdere aparte tools voor spraakherkenning, sprekeridentificatie en -alignering vervangen.
Het model, dat NVIDIA presenteert als een transcriptiespecialist en niet als een algemene assistent, telt in totaal 34B parameters, waarvan ongeveer 4,3B actief zijn bij elke berekening. De contextvenstergrootte bedraagt 65.536 tokens, dat zijn de teksteenheden die het in één keer kan verwerken. De uitvoeropties omvatten woord-voor-woord transcriptie, geschreven vorm, toewijzing van uitspraken aan elke spreker, verwerking van een lijst met contexttermen en vertaling.
Een architectuur in drie blokken
Het systeem combineert een trainbare audio-encoder van 0,6B parameters, die parallel werkt met een bevroren sprekeridentificatiemodel, Nemotron 3 Diarization. Dit laatste volgt tot 8 sprekers, en zijn activiteit wordt elke 80 ms toegevoegd aan de audio-kenmerken. De kern van het model is Nemotron 3.5 Lightning 30B-A3B, een hybride Mamba-Transformer-architectuur van het MoE-type (mixture of experts, dat bij elke stap slechts een deel van de parameters activeert). Ten slotte aligneert een CTC-adapter van 50M parameters de uiteindelijke tekst op de audio om woord-voor-woord tijdstempels te produceren.
Het model is getraind door een fase van supervised fine-tuning op 256 H100 GPU’s, gedurende 28.500 stappen, gevolgd door een korte reinforcement learning-fase. Volgens het technische rapport van NVIDIA heeft het ongeveer 1,72 miljoen uur unieke audio gezien, of 6,5 miljoen uur als de herhalingen worden meegeteld.
Resultaten bekendgemaakt door NVIDIA
Alle onderstaande cijfers zijn door NVIDIA zelf gerapporteerd in zijn technische rapport. Op de negen openbare Engelse datasets van de Open ASR Leaderboard vertoont het model een gemiddeld woordfoutenpercentage (WER) van 4,71%, tegenover 4,94% voor Qwen3-ASR-1.7B, het volgende open model. Zeven commerciële systemen blijven voorliggen, waaronder OtterAI speech-v3.1, met 3,88%. Voor meertaligheid, over zeven talen, is de score 4,62%, tegenover 6,49% voor Qwen3-ASR-1.7B, terwijl ElevenLabs Scribe v2 3,56% haalt. Voor vergaderingen met meerdere sprekers geeft NVIDIA een percentage van 15,80% aan (cpWER), tegenover 16,83% voor DiCoW v3.3 gecombineerd met DiariZen. Het bedrijf beweert dat dit het eerste SALM-type model is dat cascade-systemen op dit punt verslaat. Een lijst met benoemde entiteiten verlaagt bovendien het foutenpercentage op deze namen van 12,21% naar 2,20% op ContextASR-Bench. De resultaten zijn minder goed voor Mandarijn in vergaderingen: 34,95% op AliMeeting, met een afgelegen microfoon, en 32,91% op AISHELL-4.
Implementatie en beperkingen
De gewichten zijn beschikbaar in BF16, FP8 en NVFP4, evenals in GGUF-formaat. De BF16-versie past op één enkele 80 GB H100, de FP8 weegt ongeveer 35 GB en de NVFP4 ongeveer 21 GB, waarbij de laatste op een RTX 5090 draait. De licentie OpenMDW-1.1 staat commercieel gebruik toe, volgens de bron. NVIDIA kondigt ook een snelheid aan van 2.238 keer realtime op een enkele RTX PRO 6000 Blackwell met zijn NIM-oplossing, maar deze optimalisaties zijn nog niet open source, en de bij release beschikbare vLLM-route zou ongeveer twee keer langzamer zijn. Het model werkt uitsluitend offline en is geen service voor realtime herkenning. NVIDIA wijst ook op zwakke punten bij vergaderingen in het Mandarijn en bij het afwisselen van talen binnen één zin.
