NVIDIA ha pubblicato Nemotron 3.5 Transcribe, un modello linguistico con input audio i cui pesi sono aperti e progettato per la trascrizione. Un unico modello gestisce 40 lingue e registrazioni fino a 1 ora. Un’istruzione testuale determina lo stile di output richiesto per ogni richiesta e, per gli sviluppatori, può sostituire più strumenti distinti per il riconoscimento vocale, l’identificazione dei parlanti e l’allineamento.
- NVIDIA rilascia Nemotron 3.5 Transcribe, un modello open per la trascrizione audio in 40 lingue.
- Il modello gestisce registrazioni fino a un’ora e produce output personalizzabili, tra cui trascrizione, attribuzione dei parlanti e traduzione.
- Secondo NVIDIA, il modello supera gli altri modelli aperti, ma sette sistemi commerciali restano più precisi.
- Il mandarino in riunione e l’alternanza di lingue nella stessa frase restano i punti deboli, e il modello funziona solo offline.
Il modello, che NVIDIA presenta come uno specialista della trascrizione e non come un assistente generalista, conta 34B di parametri totali, di cui circa 4,3B sono attivi ad ogni calcolo. La sua finestra di contesto raggiunge 65.536 token, ovvero le unità di testo che può elaborare in una volta. Le opzioni di output includono la trascrizione parola per parola, la forma scritta, l’attribuzione del discorso a ciascun parlante, la considerazione di una lista di termini contestuali e la traduzione.
Un’architettura in tre blocchi
Il sistema combina un codificatore audio addestrabile da 0,6B parametri, che opera in parallelo con un modello di identificazione dei parlanti congelato, Nemotron 3 Diarization. Quest’ultimo segue fino a 8 parlanti e la sua attività viene aggiunta alle caratteristiche audio ogni 80 ms. Il cuore del modello è Nemotron 3.5 Lightning 30B-A3B, un’architettura ibrida Mamba-Transformer di tipo MoE (miscela di esperti, che attiva solo una parte dei parametri ad ogni passo). Infine, un adattatore CTC da 50M di parametri allinea il testo finale all’audio per produrre timestamp parola per parola.
Il modello è stato addestrato attraverso una fase di fine-tuning supervisionato su 256 GPU H100, per 28.500 passi, seguita da una breve fase di apprendimento per rinforzo. Secondo il rapporto tecnico di NVIDIA, ha visto circa 1,72 milioni di ore di audio uniche, ovvero 6,5 milioni di ore contando le ripetizioni.
Risultati annunciati da NVIDIA
Tutti i numeri seguenti sono auto-dichiarati da NVIDIA nel suo rapporto tecnico. Sui nove dataset pubblici in inglese dell’Open ASR Leaderboard, il modello mostra un tasso medio di errore sulle parole (WER) del 4,71%, contro il 4,94% di Qwen3-ASR-1.7B, il modello aperto successivo. Sette sistemi commerciali restano davanti, tra cui OtterAI speech-v3.1, al 3,88%. In multilingue, su sette lingue, il punteggio è del 4,62%, contro il 6,49% di Qwen3-ASR-1.7B, mentre ElevenLabs Scribe v2 raggiunge il 3,56%. Per le riunioni con più partecipanti, NVIDIA indica un tasso del 15,80% (cpWER), contro il 16,83% di DiCoW v3.3 associato a DiariZen. L’azienda afferma che si tratta del primo modello di tipo SALM a superare i sistemi a cascata su questo punto. Una lista di entità nominate fa inoltre scendere il tasso di errore su questi nomi dal 12,21% al 2,20% su ContextASR-Bench. I risultati sono meno buoni per il mandarino in riunione: 34,95% su AliMeeting, con microfono distante, e 32,91% su AISHELL-4.
Distribuzione e limiti
I pesi sono disponibili in BF16, FP8 e NVFP4, oltre che nel formato GGUF. La versione BF16 occupa un singolo H100 da 80 GB, la FP8 pesa circa 35 GB e la NVFP4 circa 21 GB, quest’ultima funzionante su una RTX 5090. La licenza OpenMDW-1.1 consente l’uso commerciale, secondo la fonte. NVIDIA annuncia anche una velocità di 2.238 volte il tempo reale su una singola RTX PRO 6000 Blackwell con la sua soluzione NIM, ma queste ottimizzazioni non sono ancora open source, e la via vLLM disponibile al lancio sarebbe circa due volte più lenta. Il modello funziona solo offline e non è un servizio di riconoscimento in flusso continuo. NVIDIA segnala inoltre debolezze nelle riunioni in mandarino e nell’alternanza di lingue all’interno di una stessa frase.
