NVIDIA a publié Nemotron 3.5 Transcribe, un modèle de langage à entrée audio dont les poids sont ouverts et conçu pour la transcription. Un seul modèle traite 40 langues et des enregistrements pouvant aller jusqu’à 1 heure. Une instruction en texte détermine le style de sortie demandé à chaque requête, et pour les développeurs, il peut remplacer plusieurs outils distincts de reconnaissance vocale, d’identification des locuteurs et d’alignement.
- Le modèle transcrit 40 langues et des enregistrements allant jusqu’à 1 heure.
- Il compte 34B paramètres, dont environ 4,3B sont actifs à chaque calcul.
- Il affiche 4,71 % de WER en anglais, contre 4,94 % pour Qwen3-ASR-1.7B, selon NVIDIA.
- Il fonctionne hors ligne uniquement et peine sur le mandarin en réunion.
Le modèle, que NVIDIA présente comme un spécialiste de la transcription et non comme un assistant généraliste, compte 34B de paramètres au total, dont environ 4,3B sont actifs à chaque calcul. Sa fenêtre de contexte atteint 65 536 tokens, c’est-à-dire les unités de texte qu’il peut traiter d’un coup. Les options de sortie incluent la transcription mot à mot, la forme écrite, l’attribution des propos à chaque locuteur, la prise en compte d’une liste de termes du contexte et la traduction.
Une architecture en trois blocs
Le système combine un encodeur audio entraînable de 0,6B paramètres, qui fonctionne en parallèle avec un modèle d’identification des locuteurs gelé, Nemotron 3 Diarization. Ce dernier suit jusqu’à 8 locuteurs, et son activité est ajoutée aux caractéristiques audio toutes les 80 ms. Le cœur du modèle est Nemotron 3.5 Lightning 30B-A3B, une architecture hybride Mamba-Transformer de type MoE (mélange d’experts, qui n’active qu’une partie des paramètres à chaque étape). Enfin, un adaptateur CTC de 50M de paramètres aligne le texte final sur l’audio pour produire des horodatages mot par mot.
Le modèle a été entraîné par une phase de fine-tuning supervisé sur 256 GPU H100, pendant 28 500 étapes, suivie d’une courte phase d’apprentissage par renforcement. Selon le rapport technique de NVIDIA, il a vu environ 1,72 million d’heures d’audio uniques, soit 6,5 millions d’heures en comptant les répétitions.
Des résultats annoncés par NVIDIA
Tous les chiffres ci-dessous sont auto-déclarés par NVIDIA dans son rapport technique. Sur les neuf jeux de données publics en anglais de l’Open ASR Leaderboard, le modèle affiche un taux d’erreur moyen de mots (WER) de 4,71 %, contre 4,94 % pour Qwen3-ASR-1.7B, le modèle ouvert suivant. Sept systèmes commerciaux restent devant, dont OtterAI speech-v3.1, à 3,88 %. En multilingue, sur sept langues, le score est de 4,62 %, contre 6,49 % pour Qwen3-ASR-1.7B, tandis qu’ElevenLabs Scribe v2 atteint 3,56 %. Pour les réunions à plusieurs intervenants, NVIDIA indique un taux de 15,80 % (cpWER), contre 16,83 % pour DiCoW v3.3 associé à DiariZen. L’entreprise affirme qu’il s’agit du premier modèle de type SALM à devancer les systèmes en cascade sur ce point. Une liste d’entités nommées fait par ailleurs passer le taux d’erreur sur ces noms de 12,21 % à 2,20 % sur ContextASR-Bench. Les résultats sont moins bons pour le mandarin en réunion : 34,95 % sur AliMeeting, avec un microphone éloigné, et 32,91 % sur AISHELL-4.
Déploiement et limites
Les poids sont disponibles en BF16, FP8 et NVFP4, ainsi qu’au format GGUF. La version BF16 tient sur un seul H100 de 80 Go, la FP8 pèse environ 35 Go et la NVFP4 environ 21 Go, cette dernière fonctionnant sur une RTX 5090. La licence OpenMDW-1.1 permet l’usage commercial, selon la source. NVIDIA annonce aussi une vitesse de 2 238 fois le temps réel sur une seule RTX PRO 6000 Blackwell avec sa solution NIM, mais ces optimisations ne sont pas encore open source, et la voie vLLM disponible à la sortie serait environ deux fois plus lente. Le modèle fonctionne uniquement hors ligne et n’est pas un service de reconnaissance en flux continu. NVIDIA signale également des faiblesses sur les réunions en mandarin et sur l’alternance de langues au sein d’une même phrase.
