Open ASR Leaderboard, ranking systemów automatycznego rozpoznawania mowy (ASR), wzbogaca się o dane prywatne dzięki nowemu partnerstwu z Liva AI. Partnerstwo to dodaje dwa akcenty, egipski i nigeryjski, oraz umożliwia bardziej szczegółową prezentację wyników według akcentów.
Kilka miesięcy wcześniej ranking już włączył dane prywatne: 11 oddzielnych zestawów danych, dostarczonych przez Appen i DataOceanAI, obejmujących mowę scenariuszową i konwersacyjną w pięciu akcentach. Reakcje społeczności były liczne, wielu podkreślało znaczenie zestawów testowych trzymanych z dala, tzw. « held-out », które pozwalają oceniać modele na danych nieobecnych w ich treningu. Dodatkowy zestaw, poświęcony angielszczyźnie mówionej z akcentem indyjskim, został następnie dodany wraz z Voice Arena.
Dwa nowe akcenty: egipski i nigeryjski
Partnerstwo z Liva AI przynosi dwa nowe prywatne zestawy danych. Pierwszy, Liva AI Conversational EG, reprezentuje akcent egipski na 1,34 godziny nagrań. Drugi, Liva AI Conversational NG, obejmuje akcent nigeryjski na 1,55 godziny. Oba dotyczą mowy konwersacyjnej i spontanicznej, z transkrypcją interpunkcyjną, w wielkich i małych literach, która zachowuje dysfluencje, czyli wahania, powtórzenia i poprawki właściwe dla mowy.
Według Hugging Face, dodatek ten wpisuje się w ciągły wysiłek lepszego reprezentowania akcentów i języków w ocenach oraz wzmacniania zaufania do wyników. Nowe dane prywatne mają zmniejszyć ryzyko « benchmaxxingu », czyli optymalizacji modelu pod znane testy, jednocześnie poszerzając liczbę dostawców danych.
Podział według trzech kręgów Kachru
Dzięki tym nowym akcentom ranking może przedstawiać bardziej szczegółowy podział, oparty na trzech kręgach Kachru, modelu klasyfikującym użycie języka angielskiego na świecie. Pomysł został zaczerpnięty ze strony rankingu Hume AI, za co Hugging Face wyraźnie dziękuje.
Open ASR Leaderboard będzie teraz wyświetlał dwa podziały. Pierwszy przeciwstawia akcenty amerykańskie akcentom nieamerykańskim, reprezentowanym przez Wielką Brytanię, Australię, Kanadę, Indie, Nigerię i Egipt. Drugi wyróżnia krąg wewnętrzny, który grupuje Stany Zjednoczone, Wielką Brytanię, Australię i Kanadę, od kręgu zewnętrznego i kręgu rozszerzającego się, które obejmują Indie, Nigerię i Egipt. Hugging Face wskazuje, że rozdzieli te dwa ostatnie kręgi w miarę dodawania nowych akcentów.
Kim jest Liva AI
Liva AI zbiera multimodalne dane interakcji poprzez produkty konsumenckie używane przez prawdziwych ludzi. Ponieważ firma kontroluje zarówno środowisko zbierania danych, jak i dystrybucję swoich produktów, może, według przedstawionego opisu, projektować produkty w oparciu o luki w modelach, w różnych dziedzinach, sektorach, językach, modalnościach i typach interakcji. Blog Hugging Face precyzuje, że te dane odzwierciedlają naturalne i bogate w kontekst zachowanie, wynikające z rzeczywistego użytkowania produktów, a nie z interakcji sztucznie wywołanych lub związanych z konkretnym zadaniem.
