Das Open ASR Leaderboard, das Ranking von Systemen für automatische Spracherkennung (ASR), wird durch eine neue Partnerschaft mit Liva AI um private Daten erweitert. Diese Partnerschaft fügt zwei Akzente hinzu, den ägyptischen und den nigerianischen, und ermöglicht eine detailliertere Darstellung der Ergebnisse nach Akzenten.
- Das Open ASR Leaderboard erweitert sich um ägyptisches und nigerianisches Englisch.
- Die Partnerschaft mit Liva AI bringt zwei neue private Datensätze mit konversationeller Sprache.
- Die Ergebnisse werden künftig nach Akzenten und nach Kachrus drei Kreisen aufgeteilt.
- Die neuen Daten sollen das Risiko des „Benchmaxxing“ verringern.
Einige Monate zuvor hatte das Ranking bereits private Daten integriert: 11 separate Datensätze, bereitgestellt von Appen und DataOceanAI, die geskriptete und konversationelle Sprache in fünf Akzenten abdecken. Die Reaktionen der Community waren zahlreich, wobei mehrere die Bedeutung von zurückgehaltenen Testdatensätzen betonten, sogenannten « held-out »-Daten, die es ermöglichen, Modelle auf Daten zu bewerten, die nicht in ihrem Training enthalten waren. Ein zusätzlicher Datensatz, der dem Englisch mit indischem Akzent gewidmet ist, wurde anschließend mit Voice Arena hinzugefügt.
Zwei neue Akzente: ägyptisch und nigerianisch
Die Partnerschaft mit Liva AI bringt zwei neue private Datensätze. Der erste, Liva AI Conversational EG, repräsentiert den ägyptischen Akzent mit 1,34 Stunden Aufnahmen. Der zweite, Liva AI Conversational NG, deckt den nigerianischen Akzent mit 1,55 Stunden ab. Beide betreffen konversationelle und spontane Sprache, mit einer interpunktierten Transkription in Groß- und Kleinschreibung, die Disfluenzen beibehält, also die für die gesprochene Sprache typischen Zögern, Wiederholungen und Korrekturen.
Laut Hugging Face steht diese Ergänzung im Rahmen einer kontinuierlichen Anstrengung, Akzente und Sprachen in den Bewertungen besser zu repräsentieren und das Vertrauen in die Ergebnisse zu stärken. Die neuen privaten Daten sollen das Risiko des « Benchmaxxing » verringern, also der Optimierung eines Modells für bekannte Tests, und gleichzeitig die Anzahl der Datenanbieter erweitern.
Eine Aufteilung nach den drei Kreisen von Kachru
Mit diesen neuen Akzenten kann das Ranking eine feinere Aufteilung vornehmen, die auf den drei Kreisen von Kachru basiert, einem Modell, das die Verwendungen des Englischen weltweit klassifiziert. Die Idee wurde von der Ranking-Seite von Hume AI übernommen, wofür Hugging Face ausdrücklich dankt.
Das Open ASR Leaderboard wird nun zwei Aufteilungen anzeigen. Die erste stellt amerikanische Akzente nicht-amerikanischen Akzenten gegenüber, vertreten durch das Vereinigte Königreich, Australien, Kanada, Indien, Nigeria und Ägypten. Die zweite unterscheidet den inneren Kreis, der die USA, das Vereinigte Königreich, Australien und Kanada umfasst, vom äußeren Kreis und dem expandierenden Kreis, zu denen Indien, Nigeria und Ägypten gehören. Hugging Face gibt an, dass es diese beiden letzteren Kreise trennen wird, sobald weitere Akzente hinzugefügt werden.
Wer ist Liva AI
Liva AI sammelt multimodale Interaktionsdaten über von echten Menschen genutzte Consumer-Produkte. Da das Unternehmen sowohl die Sammelumgebung als auch die Verteilung seiner Produkte kontrolliert, kann es, laut der Darstellung, Produkte basierend auf den Schwächen von Modellen in verschiedenen Bereichen, Sektoren, Sprachen, Modalitäten und Interaktionstypen gestalten. Der Blog von Hugging Face präzisiert, dass diese Daten ein natürliches und kontextreiches Verhalten widerspiegeln, das aus der tatsächlichen Nutzung der Produkte entsteht, und keine künstlich herbeigeführten oder auf eine bestimmte Aufgabe bezogenen Interaktionen.
