L’Open ASR Leaderboard, la classifica dei sistemi di riconoscimento automatico del parlato (ASR), si arricchisce di dati privati grazie a una nuova partnership con Liva AI. Questa partnership aggiunge due accenti, l’egiziano e il nigeriano, e consente una presentazione più dettagliata dei risultati in base agli accenti.
- L’Open ASR Leaderboard aggiunge gli accenti egiziano e nigeriano grazie a Liva AI.
- I nuovi dati privati riducono il rischio di «benchmaxxing».
- La classifica distingue ora gli accenti americani da quelli non americani.
- Seguendo i tre cerchi di Kachru, la classifica separa il cerchio interno dagli altri.
Qualche mese fa, la classifica aveva già integrato dati privati: 11 set di dati distinti, forniti da Appen e DataOceanAI, che coprivano parlato sceneggiato e conversazionale in cinque accenti. Le reazioni della comunità sono state numerose, molti hanno sottolineato l’importanza dei set di test tenuti da parte, detti « held-out », che permettono di valutare i modelli su dati assenti dal loro addestramento. Un set aggiuntivo, dedicato all’inglese parlato con accento indiano, è stato poi aggiunto con Voice Arena.
Due nuovi accenti: egiziano e nigeriano
La partnership con Liva AI porta due nuovi set di dati privati. Il primo, Liva AI Conversational EG, rappresenta l’accento egiziano con 1,34 ore di registrazioni. Il secondo, Liva AI Conversational NG, copre l’accento nigeriano con 1,55 ore. Entrambi riguardano un parlato conversazionale e spontaneo, con una trascrizione punteggiata, in maiuscolo e minuscolo, che conserva le disfluenze, cioè le esitazioni, ripetizioni e riprese proprie dell’oralità.
Secondo Hugging Face, questo inserimento si inquadra in uno sforzo continuo per rappresentare meglio gli accenti e le lingue nelle valutazioni, e per rafforzare la fiducia nei risultati. I nuovi dati privati dovrebbero ridurre il rischio di « benchmaxxing », cioè di ottimizzazione di un modello per test conosciuti, ampliando al contempo il numero di fornitori di dati.
Una ripartizione secondo i tre cerchi di Kachru
Con questi nuovi accenti, la classifica può presentare una ripartizione più fine, basata sui tre cerchi di Kachru, un modello che classifica gli usi dell’inglese nel mondo. L’idea è stata ripresa dalla pagina di classifica di Hume AI, che Hugging Face ringrazia esplicitamente.
L’Open ASR Leaderboard mostrerà d’ora in poi due suddivisioni. La prima contrappone gli accenti americani agli accenti non americani, rappresentati da Regno Unito, Australia, Canada, India, Nigeria ed Egitto. La seconda distingue il cerchio interno, che raggruppa Stati Uniti, Regno Unito, Australia e Canada, dal cerchio esterno e dal cerchio in espansione, che includono India, Nigeria ed Egitto. Hugging Face indica che separerà questi ultimi due cerchi man mano che verranno aggiunti nuovi accenti.
Chi è Liva AI
Liva AI raccoglie dati di interazione multimodali attraverso prodotti di consumo utilizzati da persone reali. Poiché l’azienda controlla sia l’ambiente di raccolta che la distribuzione dei suoi prodotti, può, secondo la presentazione che ne viene fatta, progettare prodotti in base alle lacune dei modelli, in diversi domini, settori, lingue, modalità e tipi di interazione. Il blog di Hugging Face precisa che questi dati riflettono un comportamento naturale e ricco di contesto, nato dall’uso reale dei prodotti, e non da interazioni provocate artificialmente o legate a un compito specifico.
