NVIDIA выпустила Nemotron 3.5 Transcribe — открытую языковую модель с аудиовходом, предназначенную для транскрипции. Одна модель обрабатывает 40 языков и записи длиной до 1 часа. Текстовая инструкция определяет стиль вывода для каждого запроса, и для разработчиков она может заменить несколько отдельных инструментов для распознавания речи, идентификации дикторов и выравнивания.
Модель, которую NVIDIA позиционирует как специалиста по транскрипции, а не как общего ассистента, имеет в общей сложности 34B параметров, из которых примерно 4,3B активны при каждом вычислении. Её контекстное окно достигает 65 536 токенов — единиц текста, которые она может обработать за раз. Варианты вывода включают дословную транскрипцию, письменную форму, распределение реплик по дикторам, учёт списка терминов из контекста и перевод.
Архитектура из трёх блоков
Система сочетает обучаемый аудиоэнкодер на 0,6B параметров, который работает параллельно с замороженной моделью идентификации дикторов Nemotron 3 Diarization. Последняя отслеживает до 8 дикторов, и её активность добавляется к аудио-признакам каждые 80 мс. Сердце модели — Nemotron 3.5 Lightning 30B-A3B, гибридная архитектура Mamba-Transformer типа MoE (смесь экспертов, которая активирует лишь часть параметров на каждом шаге). Наконец, адаптер CTC на 50M параметров выравнивает итоговый текст по аудио для создания пословных временных меток.
Модель обучалась методом контролируемого тонкого обучения на 256 GPU H100 в течение 28 500 шагов, за которым следовала короткая фаза обучения с подкреплением. Согласно техническому отчёту NVIDIA, она обработала около 1,72 миллиона часов уникального аудио, или 6,5 миллионов часов с учётом повторов.
Результаты, заявленные NVIDIA
Все приведённые ниже цифры основаны на собственном отчёте NVIDIA. На девяти публичных англоязычных наборах данных Open ASR Leaderboard модель показывает средний процент ошибок по словам (WER) 4,71 % против 4,94 % у следующей открытой модели Qwen3-ASR-1.7B. Семь коммерческих систем остаются впереди, включая OtterAI speech-v3.1 с 3,88 %. В мультиязычном режиме по семи языкам результат составляет 4,62 % против 6,49 % у Qwen3-ASR-1.7B, тогда как ElevenLabs Scribe v2 достигает 3,56 %. Для многоучастниковых встреч NVIDIA указывает показатель 15,80 % (cpWER) против 16,83 % у DiCoW v3.3 в связке с DiariZen. Компания утверждает, что это первая модель типа SALM, превзошедшая каскадные системы по этому параметру. Список именованных сущностей снижает процент ошибок по этим именам с 12,21 % до 2,20 % на ContextASR-Bench. Результаты хуже для встреч на мандаринском: 34,95 % на AliMeeting с удалённым микрофоном и 32,91 % на AISHELL-4.
Развёртывание и ограничения
Веса доступны в форматах BF16, FP8 и NVFP4, а также в GGUF. Версия BF16 помещается на один H100 с 80 ГБ памяти, FP8 весит около 35 ГБ, а NVFP4 — около 21 ГБ, последняя работает на RTX 5090. Лицензия OpenMDW-1.1 разрешает коммерческое использование согласно источнику. NVIDIA также заявляет о скорости в 2 238 раз быстрее реального времени на одной RTX PRO 6000 Blackwell с её решением NIM, но эти оптимизации пока не открыты, а доступный на старте вариант vLLM будет примерно вдвое медленнее. Модель работает только офлайн и не является сервисом потокового распознавания. NVIDIA также отмечает слабые стороны в обработке встреч на мандаринском и переключении языков внутри одной фразы.
