O Open ASR Leaderboard, o ranking de sistemas de reconhecimento automático de fala (ASR), enriquece-se com dados privados graças a uma nova parceria com a Liva AI. Esta parceria adiciona dois sotaques, o egípcio e o nigeriano, e permite uma apresentação mais detalhada dos resultados de acordo com os sotaques.
- O Open ASR Leaderboard integra novos dados privados fornecidos pela Liva AI.
- Os conjuntos acrescentam os sotaques egípcio e nigeriano, em fala conversacional espontânea.
- O ranking passa a dividir os resultados segundo os três círculos de Kachru.
- Estes dados devem reduzir o risco de benchmaxxing, ou seja, a otimização para testes conhecidos.
Alguns meses antes, o ranking já tinha integrado dados privados: 11 conjuntos de dados distintos, fornecidos pela Appen e pela DataOceanAI, cobrindo fala guionada e conversacional em cinco sotaques. As reações da comunidade foram numerosas, com vários a salientarem a importância dos conjuntos de teste mantidos à parte, os chamados « held-out », que permitem avaliar os modelos com dados ausentes do seu treino. Um conjunto adicional, dedicado ao inglês falado com sotaque indiano, foi posteriormente adicionado com a Voice Arena.
Dois novos sotaques: egípcio e nigeriano
A parceria com a Liva AI traz dois novos conjuntos de dados privados. O primeiro, Liva AI Conversational EG, representa o sotaque egípcio com 1,34 horas de gravações. O segundo, Liva AI Conversational NG, cobre o sotaque nigeriano com 1,55 horas. Ambos correspondem a uma fala conversacional e espontânea, com uma transcrição pontuada, em maiúsculas e minúsculas, que conserva as disfluências, ou seja, as hesitações, repetições e reformulações próprias da oralidade.
Segundo a Hugging Face, esta adição insere-se num esforço contínuo para representar melhor os sotaques e as línguas nas avaliações, e para reforçar a confiança nos resultados. Os novos dados privados devem reduzir o risco de « benchmaxxing », ou seja, de otimização de um modelo para testes conhecidos, ao mesmo tempo que alarga o número de fornecedores de dados.
Uma repartição segundo os três círculos de Kachru
Com estes novos sotaques, o ranking pode apresentar uma repartição mais fina, baseada nos três círculos de Kachru, um modelo que classifica os usos do inglês no mundo. A ideia foi retomada da página de ranking da Hume AI, que a Hugging Face agradece explicitamente.
O Open ASR Leaderboard exibirá doravante duas divisões. A primeira opõe os sotaques americanos aos sotaques não americanos, representados pelo Reino Unido, Austrália, Canadá, Índia, Nigéria e Egito. A segunda distingue o círculo interior, que agrupa os Estados Unidos, o Reino Unido, a Austrália e o Canadá, do círculo externo e do círculo em expansão, que incluem a Índia, a Nigéria e o Egito. A Hugging Face indica que separará estes dois últimos círculos à medida que novos sotaques forem adicionados.
Quem é a Liva AI
A Liva AI recolhe dados de interação multimodais através de produtos de consumo utilizados por pessoas reais. Porque a empresa controla tanto o ambiente de recolha como a distribuição dos seus produtos, pode, segundo a apresentação que é feita, conceber produtos em função das lacunas dos modelos, em diferentes domínios, setores, línguas, modalidades e tipos de interação. O blog da Hugging Face especifica que estes dados refletem um comportamento natural e rico em contexto, nascido do uso real dos produtos, e não de interações provocadas artificialmente ou ligadas a uma tarefa específica.
