NVIDIA ha publicado Nemotron 3.5 Transcribe, un modelo de lenguaje con entrada de audio cuyos pesos son abiertos y está diseñado para la transcripción. Un único modelo procesa 40 idiomas y grabaciones de hasta 1 hora. Una instrucción en texto determina el estilo de salida solicitado en cada petición, y para los desarrolladores, puede sustituir varias herramientas distintas de reconocimiento de voz, identificación de hablantes y alineación.
- NVIDIA lanza Nemotron 3.5 Transcribe, un modelo abierto que transcribe 40 idiomas en grabaciones de hasta 1 hora.
- Según NVIDIA, supera a Qwen3-ASR-1.7B en inglés y multilingüe, aunque siete sistemas comerciales le superan en inglés.
- El modelo mejora en reuniones con varios hablantes, pero rinde peor en mandarín.
- Funciona solo offline, y la licencia OpenMDW-1.1 permite el uso comercial.
El modelo, que NVIDIA presenta como un especialista en transcripción y no como un asistente generalista, cuenta con 34B de parámetros en total, de los cuales aproximadamente 4,3B están activos en cada cálculo. Su ventana de contexto alcanza 65 536 tokens, es decir, las unidades de texto que puede procesar de una vez. Las opciones de salida incluyen la transcripción palabra por palabra, la forma escrita, la atribución de los discursos a cada hablante, la consideración de una lista de términos del contexto y la traducción.
Una arquitectura en tres bloques
El sistema combina un codificador de audio entrenable de 0,6B parámetros, que funciona en paralelo con un modelo de identificación de hablantes congelado, Nemotron 3 Diarization. Este último sigue hasta 8 hablantes, y su actividad se añade a las características de audio cada 80 ms. El núcleo del modelo es Nemotron 3.5 Lightning 30B-A3B, una arquitectura híbrida Mamba-Transformer de tipo MoE (mezcla de expertos, que solo activa una parte de los parámetros en cada paso). Finalmente, un adaptador CTC de 50M de parámetros alinea el texto final con el audio para producir marcas de tiempo palabra por palabra.
El modelo fue entrenado mediante una fase de ajuste fino supervisado en 256 GPU H100, durante 28 500 pasos, seguida de una breve fase de aprendizaje por refuerzo. Según el informe técnico de NVIDIA, ha visto aproximadamente 1,72 millones de horas de audio únicas, es decir, 6,5 millones de horas contando repeticiones.
Resultados anunciados por NVIDIA
Todos los datos a continuación son auto-declarados por NVIDIA en su informe técnico. En los nueve conjuntos de datos públicos en inglés del Open ASR Leaderboard, el modelo muestra una tasa de error de palabras (WER) media del 4,71 %, frente al 4,94 % de Qwen3-ASR-1.7B, el siguiente modelo abierto. Siete sistemas comerciales se sitúan por delante, incluido OtterAI speech-v3.1, con un 3,88 %. En multilingüe, en siete idiomas, la puntuación es del 4,62 %, frente al 6,49 % de Qwen3-ASR-1.7B, mientras que ElevenLabs Scribe v2 alcanza el 3,56 %. Para reuniones con varios participantes, NVIDIA indica una tasa del 15,80 % (cpWER), frente al 16,83 % de DiCoW v3.3 asociado a DiariZen. La empresa afirma que es el primer modelo de tipo SALM en superar a los sistemas en cascada en este aspecto. Una lista de entidades nombradas reduce la tasa de error en estos nombres del 12,21 % al 2,20 % en ContextASR-Bench. Los resultados son peores para el mandarín en reuniones: 34,95 % en AliMeeting, con un micrófono alejado, y 32,91 % en AISHELL-4.
Despliegue y limitaciones
Los pesos están disponibles en BF16, FP8 y NVFP4, así como en formato GGUF. La versión BF16 cabe en una sola H100 de 80 GB, la FP8 pesa alrededor de 35 GB y la NVFP4 unos 21 GB, esta última funciona en una RTX 5090. La licencia OpenMDW-1.1 permite el uso comercial, según la fuente. NVIDIA también anuncia una velocidad de 2 238 veces el tiempo real en una sola RTX PRO 6000 Blackwell con su solución NIM, pero estas optimizaciones aún no son de código abierto, y la vía vLLM disponible al salir sería aproximadamente dos veces más lenta. El modelo funciona únicamente offline y no es un servicio de reconocimiento en flujo continuo. NVIDIA también señala debilidades en reuniones en mandarín y en la alternancia de idiomas dentro de una misma frase.
