ElevenLabs wprowadza dwa modele transkrypcji mowy: Scribe v3 dla nagrań oraz Scribe v3 Live dla czasu rzeczywistego. Według firmy, Scribe v3 generuje o 27% mniej błędów słownych niż Scribe v2 w przypadku 102 języków, a Scribe v3 Live o 43% mniej niż Scribe v2 Realtime.
- ElevenLabs wprowadza Scribe v3 do nagrań i Scribe v3 Live do transkrypcji w czasie rzeczywistym.
- Scribe v3 popełnia o 27% mniej błędów słownych niż Scribe v2 w 102 językach.
- Model lepiej rozpoznaje mówców i nie przerywa rozmówcom podczas pauz dzięki kontekstowi rozmowy.
- Modele działają w USA, a w UE, Indiach i Singapurze są dostępne w izolowanych środowiskach.
Transkrypcja jest podstawą wielu produktów audio: zapisów spotkań, asystentów głosowych, dubbingu, dokumentacji klinicznej czy archiwów transmisji. Błąd popełniony na tym etapie wpływa na cały łańcuch, gdzie jego poprawa jest znacznie droższa. Tymczasem rzeczywisty dźwięk rzadko jest czysty. Kilka osób mówi jednocześnie, klient zawiesza się w środku zdania lub rozmowa toczy się między osobami nieposługującymi się językiem ojczystym.
Wymagania, które ukształtowały Scribe v3
Scribe został już wykorzystany do transkrypcji « setek milionów godzin » dla aplikacji do notatek, centrów kontaktowych, narzędzi dokumentacji klinicznej i asystentów głosowych. Według ElevenLabs, zespoły z niego korzystające domagały się pięciu ulepszeń. Aplikacje spotkań chciały lepszej identyfikacji mówców w szybkich wymianach zdań i rozmowach trzech lub więcej osób. Zespoły asystentów głosowych zgłaszały, że timer ciszy przerywa rozmówcom, gdy robią pauzę. Inni domagali się poziomu dokładności bliższego przetwarzaniu wsadowemu. Klienci z Indii chcieli, aby hindi było tak samo niezawodne jak angielski, także gdy rozmówcy przełączają się między językami w środku zdania. Wreszcie wielu chciało większej kontroli nad formatowaniem, od zapisywania liczb cyframi po długie listy terminów dla katalogów produktów.
Scribe v3 popełnia o 17% mniej błędów w diarizacji niż Scribe v2 w przypadku nagrań z trzema lub więcej mówcami, czyli sytuacjach, w których – według firmy – większość istniejących modeli zawodzi. Diarizacja oznacza identyfikację, kto mówi w danym momencie. Scribe v3 Live wprowadza tę funkcję w czasie rzeczywistym i wykazuje o 39% mniej błędów diarizacji niż najlepszy z testowanych innych modeli czasu rzeczywistego.
W wykrywaniu zmian mówcy tradycyjne systemy opierają się na ciszy. Krótki próg ryzykuje przerywanie osobom robiącym pauzę w środku zdania, podczas gdy długi próg daje wrażenie powolności. Scribe v3 Live wykorzystuje również kontekst rozmowy, dzięki czemu rozmówca przerywający sobie w trakcie podawania numeru nie jest przerywany. To wykrywanie jest już używane w ElevenAgents i jest teraz dostępne w API.
Model może również przewidywać języki, które mogą pojawić się w nagraniu, i decydować o wyświetlaniu liczb cyframi lub słownie. « Keyterm prompting » akceptuje do 1000 oczekiwanych terminów, takich jak nazwy marek, akronimy czy żargon, podczas gdy biblioteka kluczowych terminów, zarezerwowana dla Scribe v3 Live, zawiera ich tysiące i konsultuje je tylko w przypadku prawdopodobnego dopasowania. Można również stosować reguły formatowania napisane zwykłym językiem angielskim, na przykład aby zapisywać każdą datę w formacie RRRR-MM-DD.
Wyniki zmierzone na wielu zestawach danych
ElevenLabs porównało swoje modele z Scribe v2, Scribe v2 Realtime i innymi popularnymi modelami na tych samych zestawach danych. Dokładność wielojęzyczna została oceniona na wewnętrznej wersji benchmarku FLEURS, który testuje krótkie i czyste czytanie w 102 językach. Ten benchmark nie pozwala mierzyć diarizacji, ponieważ każdy fragment zawiera tylko jednego mówcę. Firma stworzyła więc własny zestaw danych, składający się z rzeczywistych spotkań, rozmów i notatek głosowych w 16 językach, który – jak zapowiada – zamierza wkrótce udostępnić jako open source.
Na FLEURS, Scribe v3 redukuje wskaźnik błędów słownych (WER) o 27% w porównaniu z Scribe v2, z poprawą w każdym testowanym języku. Zyski wynoszą 42% w języku niemieckim, 35% w hiszpańskim i 23% w angielskim, sięgając 34% w suahili, 29% w tamilskim i 28% w tajskim. Dla Scribe v3 Live, ElevenLabs ogłasza spadek o 43% wskaźnika błędów semantycznych, który liczy błąd tylko wtedy, gdy zmienia się znaczenie, oraz o 31% WER w porównaniu z Scribe v2 Realtime. Grecki poprawił się o 77%, duński o 54%, a chorwacki o 45%.
W ElevenAgents, przykład Eneco
Eneco, dostarczające energię do ponad 2 milionów gospodarstw domowych i firm w Holandii, uruchamia swojego asystenta głosowego na ElevenAgents i testowało Scribe v3 Live przed jego premierą. Podczas rzeczywistych rozmów, asystent rozpoznawał holenderskie kody pocztowe za pierwszym razem o 40% częściej, a numery domów o 15% częściej. Ruud Huigsloot, Senior Product Manager w Eneco, powiedział: « ElevenLabs to prawdziwy partner dla Eneco. Dzięki ich inżynierom pracującym na miejscu, pracujemy nad dalszym udoskonaleniem naszego asystenta głosowego. »
Scribe v3 i Scribe v3 Live domyślnie działają w Stanach Zjednoczonych i są oferowane w izolowanych środowiskach w Unii Europejskiej, Indiach i Singapurze dla firm podlegających wymogom rezydencji danych. Tryb Zero Retention usuwa dźwięk i tekst natychmiast po zakończeniu żądania. Oba modele są objęte programami SOC 2, ISO 27001 i PCI DSS Level 1 i kwalifikują się do HIPAA. Istniejące integracje przechodzą na Scribe v3 poprzez zastąpienie identyfikatora modelu scribe_v3 lub scribe_v3_live. Wersja Scribe v3 Live zoptymalizowana dla rozmów medycznych jest również oferowana w ElevenAgents.
