NVIDIA udostępniło Nemotron 3.5 Transcribe, otwarty model językowy z wejściem audio zaprojektowany do transkrypcji. Pojedynczy model obsługuje 40 języków i nagrania do 1 godziny. Instrukcja tekstowa określa żądany styl wyjścia dla każdego zapytania, a dla programistów może on zastąpić kilka oddzielnych narzędzi do rozpoznawania mowy, identyfikacji mówców i dopasowania.
- NVIDIA udostępnia Nemotron 3.5 Transcribe, otwarty model z wejściem audio do transkrypcji.
- Jeden model obsługuje 40 języków i nagrania do godziny. Instrukcja tekstowa określa styl wyjścia.
- Model ma 34B parametrów, z czego około 4,3B jest aktywnych. Działa wyłącznie offline.
- Według NVIDIA model przewyższa Qwen3-ASR-1.7B, ale mandaryński na spotkaniach pozostaje słabym punktem.
Model, który NVIDIA przedstawia jako specjalistę od transkrypcji, a nie ogólnego asystenta, liczy łącznie 34B parametrów, z czego około 4,3B jest aktywnych przy każdym obliczeniu. Jego okno kontekstu sięga 65 536 tokenów, czyli jednostek tekstu, które może przetworzyć jednorazowo. Opcje wyjścia obejmują transkrypcję słowo w słowo, formę pisemną, przypisanie wypowiedzi do każdego mówcy, uwzględnienie listy terminów z kontekstu oraz tłumaczenie.
Architektura w trzech blokach
System łączy uczący się enkoder audio o 0,6B parametrów, który działa równolegle z zamrożonym modelem identyfikacji mówców Nemotron 3 Diarization. Ten ostatni śledzi do 8 mówców, a jego aktywność jest dodawana do cech audio co 80 ms. Sercem modelu jest Nemotron 3.5 Lightning 30B-A3B, hybrydowa architektura Mamba-Transformer typu MoE (mieszanina ekspertów, która aktywuje tylko część parametrów na każdym kroku). Na koniec, adapter CTC o 50M parametrów dopasowuje końcowy tekst do audio, aby wygenerować znaczniki czasowe dla każdego słowa.
Model został wytrenowany poprzez fazę dostrajania nadzorowanego na 256 GPU H100 przez 28 500 kroków, po której nastąpiła krótka faza uczenia ze wzmocnieniem. Według raportu technicznego NVIDIA, widział około 1,72 miliona godzin unikalnego audio, czyli 6,5 miliona godzin licząc powtórzenia.
Wyniki ogłoszone przez NVIDIA
Wszystkie poniższe liczby są samodeklarowane przez NVIDIA w jego raporcie technicznym. Na dziewięciu publicznych zestawach danych w języku angielskim z Open ASR Leaderboard model osiąga średni współczynnik błędów słów (WER) na poziomie 4,71%, w porównaniu do 4,94% dla Qwen3-ASR-1.7B, kolejnego otwartego modelu. Siedem komercyjnych systemów pozostaje przed nim, w tym OtterAI speech-v3.1 z wynikiem 3,88%. W przypadku wielojęzyczności, dla siedmiu języków, wynik wynosi 4,62%, w porównaniu do 6,49% dla Qwen3-ASR-1.7B, podczas gdy ElevenLabs Scribe v2 osiąga 3,56%. Dla spotkań z wieloma uczestnikami NVIDIA wskazuje współczynnik 15,80% (cpWER), w porównaniu do 16,83% dla DiCoW v3.3 połączonego z DiariZen. Firma twierdzi, że jest to pierwszy model typu SALM, który przewyższa systemy kaskadowe pod tym względem. Lista nazwanych encji obniża współczynnik błędów dla tych nazw z 12,21% do 2,20% na ContextASR-Bench. Wyniki są gorsze dla języka mandaryńskiego na spotkaniach: 34,95% na AliMeeting, z odległym mikrofonem, i 32,91% na AISHELL-4.
Wdrożenie i ograniczenia
Wagi są dostępne w formatach BF16, FP8 i NVFP4, a także w formacie GGUF. Wersja BF16 mieści się na pojedynczym H100 80 GB, FP8 waży około 35 GB, a NVFP4 około 21 GB, przy czym ta ostatnia działa na RTX 5090. Licencja OpenMDW-1.1 dopuszcza użycie komercyjne, zgodnie ze źródłem. NVIDIA zapowiada również prędkość 2238-krotności czasu rzeczywistego na pojedynczej RTX PRO 6000 Blackwell z ich rozwiązaniem NIM, ale te optymalizacje nie są jeszcze open source, a dostępna przy wydaniu ścieżka vLLM byłaby około dwa razy wolniejsza. Model działa wyłącznie offline i nie jest usługą rozpoznawania strumieniowego. NVIDIA wskazuje również na słabe punkty w przypadku spotkań po mandaryńsku oraz przełączania języków w obrębie jednego zdania.
