A NVIDIA publicou o Nemotron 3.5 Transcribe, um modelo de linguagem com entrada de áudio cujos pesos são abertos e concebido para transcrição. Um único modelo processa 40 idiomas e gravações de até 1 hora. Uma instrução em texto determina o estilo de saída solicitado em cada pedido e, para os programadores, pode substituir várias ferramentas distintas de reconhecimento de voz, identificação de locutores e alinhamento.
O modelo, que a NVIDIA apresenta como um especialista em transcrição e não como um assistente de uso geral, tem um total de 34B de parâmetros, dos quais cerca de 4,3B estão ativos em cada cálculo. A sua janela de contexto atinge 65 536 tokens, ou seja, as unidades de texto que consegue processar de uma só vez. As opções de saída incluem a transcrição palavra a palavra, a forma escrita, a atribuição do discurso a cada locutor, a consideração de uma lista de termos do contexto e a tradução.
Uma arquitetura em três blocos
O sistema combina um codificador de áudio treinável de 0,6B de parâmetros, que funciona em paralelo com um modelo de identificação de locutores congelado, o Nemotron 3 Diarization. Este último segue até 8 locutores e a sua atividade é adicionada às características de áudio a cada 80 ms. O núcleo do modelo é o Nemotron 3.5 Lightning 30B-A3B, uma arquitetura híbrida Mamba-Transformer do tipo MoE (mistura de peritos, que ativa apenas uma parte dos parâmetros em cada etapa). Por fim, um adaptador CTC de 50M de parâmetros alinha o texto final com o áudio para produzir timestamps palavra por palavra.
O modelo foi treinado por uma fase de fine-tuning supervisionado em 256 GPU H100, durante 28 500 passos, seguida de uma curta fase de aprendizagem por reforço. De acordo com o relatório técnico da NVIDIA, viu cerca de 1,72 milhões de horas de áudio únicas, ou seja, 6,5 milhões de horas contando as repetições.
Resultados anunciados pela NVIDIA
Todos os números abaixo são auto-declarados pela NVIDIA no seu relatório técnico. Nos nove conjuntos de dados públicos em inglês do Open ASR Leaderboard, o modelo apresenta uma taxa média de erro de palavras (WER) de 4,71 %, contra 4,94 % do Qwen3-ASR-1.7B, o modelo aberto seguinte. Sete sistemas comerciais permanecem à frente, incluindo o OtterAI speech-v3.1, com 3,88 %. Em multilingue, em sete idiomas, a pontuação é de 4,62 %, contra 6,49 % do Qwen3-ASR-1.7B, enquanto o ElevenLabs Scribe v2 atinge 3,56 %. Para reuniões com vários intervenientes, a NVIDIA indica uma taxa de 15,80 % (cpWER), contra 16,83 % do DiCoW v3.3 associado ao DiariZen. A empresa afirma que se trata do primeiro modelo do tipo SALM a superar os sistemas em cascata neste ponto. Uma lista de entidades nomeadas faz ainda passar a taxa de erro nestes nomes de 12,21 % para 2,20 % no ContextASR-Bench. Os resultados são piores para o mandarim em reunião: 34,95 % no AliMeeting, com um microfone distante, e 32,91 % no AISHELL-4.
Implementação e limitações
Os pesos estão disponíveis em BF16, FP8 e NVFP4, bem como no formato GGUF. A versão BF16 cabe num único H100 de 80 GB, a FP8 pesa cerca de 35 GB e a NVFP4 cerca de 21 GB, esta última funcionando numa RTX 5090. A licença OpenMDW-1.1 permite o uso comercial, de acordo com a fonte. A NVIDIA anuncia também uma velocidade de 2 238 vezes o tempo real numa única RTX PRO 6000 Blackwell com a sua solução NIM, mas estas otimizações ainda não são open source, e a via vLLM disponível no lançamento seria cerca de duas vezes mais lenta. O modelo funciona apenas offline e não é um serviço de reconhecimento em fluxo contínuo. A NVIDIA assinala ainda fraquezas nas reuniões em mandarim e na alternância de idiomas dentro da mesma frase.
