De Open ASR Leaderboard, een ranglijst voor automatische spraakherkenningssystemen (ASR), verrijkt zich met privédata dankzij een nieuw partnerschap met Liva AI. Dit partnerschap voegt twee accenten toe, het Egyptische en het Nigeriaanse, en maakt een gedetailleerdere presentatie van de resultaten per accent mogelijk.
- De Open ASR Leaderboard voegt privédata van Liva AI toe.
- Er komen twee nieuwe accenten bij : Egyptisch en Nigeriaans.
- De ranglijst toont voortaan twee indelingen op basis van de drie cirkels van Kachru.
- Het doel is het risico op benchmaxxing verminderen en accenten beter vertegenwoordigen.
Enkele maanden eerder had de ranglijst al privédata geïntegreerd: 11 afzonderlijke datasets, geleverd door Appen en DataOceanAI, die gescripte en conversatie-spraak in vijf accenten dekken. De reacties uit de gemeenschap waren talrijk, waarbij velen het belang benadrukten van testdatasets die apart worden gehouden, zogenaamde « held-out » datasets, die modellen evalueren op data die niet in hun training voorkomen. Een extra dataset, gewijd aan Engels gesproken met een Indiaas accent, werd later toegevoegd via Voice Arena.
Twee nieuwe accenten: Egyptisch en Nigeriaans
Het partnerschap met Liva AI levert twee nieuwe privédatasets op. De eerste, Liva AI Conversational EG, vertegenwoordigt het Egyptische accent met 1,34 uur aan opnames. De tweede, Liva AI Conversational NG, behandelt het Nigeriaanse accent met 1,55 uur. Beide betreffen spontane conversatiespraak, met interpunctie, hoofdletters en kleine letters in de transcriptie, die disfluenties behoudt, zoals aarzelingen, herhalingen en herformuleringen die kenmerkend zijn voor gesproken taal.
Volgens Hugging Face past deze toevoeging in een voortdurende inspanning om accenten en talen beter te vertegenwoordigen in evaluaties en om het vertrouwen in de resultaten te versterken. De nieuwe privédata moeten het risico op « benchmaxxing » verminderen, dat wil zeggen het optimaliseren van een model voor bekende tests, terwijl het aantal dataleveranciers wordt uitgebreid.
Een indeling volgens de drie cirkels van Kachru
Met deze nieuwe accenten kan de ranglijst een fijnmazigere indeling presenteren, gebaseerd op de drie cirkels van Kachru, een model dat het wereldwijde gebruik van het Engels classificeert. Het idee is overgenomen van de ranglijstpagina van Hume AI, waarvoor Hugging Face expliciet dank betuigt.
De Open ASR Leaderboard zal voortaan twee indelingen tonen. De eerste zet Amerikaanse accenten af tegen niet-Amerikaanse accenten, vertegenwoordigd door het Verenigd Koninkrijk, Australië, Canada, India, Nigeria en Egypte. De tweede onderscheidt de inner circle, die de VS, het VK, Australië en Canada groepeert, van de outer circle en de expanding circle, die India, Nigeria en Egypte omvatten. Hugging Face geeft aan dat het deze laatste twee cirkels zal scheiden naarmate er nieuwe accenten worden toegevoegd.
Wie is Liva AI
Liva AI verzamelt multimodale interactiedata via consumentenproducten die door echte mensen worden gebruikt. Omdat het bedrijf zowel de verzamelomgeving als de distributie van zijn producten controleert, kan het, volgens de gepresenteerde informatie, producten ontwerpen op basis van tekortkomingen in modellen, in verschillende domeinen, sectoren, talen, modaliteiten en interactietypes. De blog van Hugging Face preciseert dat deze data natuurlijk gedrag en contextrijke interacties weerspiegelen, voortkomend uit daadwerkelijk productgebruik, en niet uit kunstmatig uitgelokte of taakgebonden interacties.
