El Open ASR Leaderboard, clasificación de sistemas de reconocimiento automático del habla (ASR), se enriquece con datos privados gracias a una nueva asociación con Liva AI. Esta colaboración añade dos acentos, el egipcio y el nigeriano, y permite una presentación más detallada de los resultados según los acentos.
- El Open ASR Leaderboard incorpora datos privados aportados por Liva AI.
- Se añaden dos acentos, el egipcio y el nigeriano, con grabaciones conversacionales transcritas.
- Los resultados se presentan ahora según los tres círculos de Kachru.
- Estos datos buscan reducir el riesgo de optimizar modelos para pruebas conocidas.
Unos meses antes, la clasificación ya había integrado datos privados: 11 conjuntos de datos distintos, proporcionados por Appen y DataOceanAI, que cubrían el habla guionizada y conversacional en cinco acentos. Las reacciones de la comunidad fueron numerosas, varios destacando la importancia de los conjuntos de prueba mantenidos aparte, llamados « held-out », que permiten evaluar los modelos con datos ausentes de su entrenamiento. Un conjunto adicional, dedicado al inglés hablado con acento indio, se añadió posteriormente con Voice Arena.
Dos nuevos acentos: egipcio y nigeriano
La asociación con Liva AI aporta dos nuevos conjuntos de datos privados. El primero, Liva AI Conversational EG, representa el acento egipcio con 1,34 horas de grabaciones. El segundo, Liva AI Conversational NG, cubre el acento nigeriano con 1,55 horas. Ambos corresponden a habla conversacional y espontánea, con una transcripción puntuada, en mayúsculas y minúsculas, que conserva las disfluencias, es decir, las vacilaciones, repeticiones y correcciones propias del lenguaje oral.
Según Hugging Face, esta adición forma parte de un esfuerzo continuo por representar mejor los acentos y los idiomas en las evaluaciones, y por reforzar la confianza en los resultados. Los nuevos datos privados deben reducir el riesgo de « benchmaxxing », es decir, de optimización de un modelo para pruebas conocidas, a la vez que amplían el número de proveedores de datos.
Una distribución según los tres círculos de Kachru
Con estos nuevos acentos, la clasificación puede presentar una distribución más fina, basada en los tres círculos de Kachru, un modelo que clasifica los usos del inglés en el mundo. La idea fue tomada de la página de clasificación de Hume AI, a quien Hugging Face agradece explícitamente.
El Open ASR Leaderboard mostrará ahora dos desgloses. El primero opone los acentos estadounidenses a los acentos no estadounidenses, representados por el Reino Unido, Australia, Canadá, India, Nigeria y Egipto. El segundo distingue el círculo interior, que agrupa a Estados Unidos, Reino Unido, Australia y Canadá, del círculo externo y del círculo en expansión, que incluyen a India, Nigeria y Egipto. Hugging Face indica que separará estos dos últimos círculos a medida que se añadan nuevos acentos.
Quién es Liva AI
Liva AI recopila datos de interacción multimodal a través de productos de consumo utilizados por personas reales. Debido a que la empresa controla tanto el entorno de recolección como la distribución de sus productos, puede, según la presentación que se hace de ella, diseñar productos en función de las carencias de los modelos, en diferentes dominios, sectores, idiomas, modalidades y tipos de interacción. El blog de Hugging Face precisa que estos datos reflejan un comportamiento natural y rico en contexto, nacido del uso real de los productos, y no de interacciones provocadas artificialmente o ligadas a una tarea específica.
