音声自動認識（ASR）システムのランキング「Open ASR Leaderboard」は、Liva AIとの新たなパートナーシップにより、非公開データを追加した。この提携により、エジプトとナイジェリアの2つのアクセントが追加され、アクセントごとに詳細な結果表示が可能となった。
数か月前、このランキングは既に非公開データを統合していた：AppenとDataOceanAIが提供する11の独立したデータセットは、5つのアクセントにおけるスクリプト化および会話音声をカバーしている。コミュニティからの反応は多く、多くの関係者が「held-out」（評価用に確保された）テストデータセットの重要性を指摘した。これは、モデルを学習データに含まれない情報で評価することを可能にする。その後、Voice Arenaを通じてインド英語アクセントに特化した追加データセットが加えられた。
2つの新アクセント：エジプト英語とナイジェリア英語
Liva AIとのパートナーシップにより、2つの新たな非公開データセットがもたらされた。1つ目はLiva AI Conversational EGで、1.34時間の録音によるエジプト英語アクセントを表す。2つ目はLiva AI Conversational NGで、1.55時間の録音によるナイジェリア英語アクセントをカバーする。両データセットは会話的で自然発生的な音声に基づき、句読点付き、大文字小文字区別の転写が行われ、言い淀み、繰り返し、言い直しなどの口語特有の非流暢性が保持されている。
Hugging Faceによれば、この追加は、評価におけるアクセントと言語の代表性を高め、結果への信頼を強化するための継続的な取り組みの一環である。新たな非公開データは、「ベンチマックス」（既知のテストに対するモデルの過剰最適化）のリスクを低減しつつ、データプロバイダーの数を拡大することを目的としている。
Kachruの3つの円に基づく分類
これらの新アクセントにより、ランキングは世界における英語使用を分類するモデルであるKachruの3つの円に基づいた、より細かい分類を提示できるようになった。このアイデアはHume AIのランキングページから引用され、Hugging Faceは明示的に謝意を表している。
Open ASR Leaderboardは今後、2つの分類を表示する。1つ目はアメリカ英語アクセントと、イギリス、オーストラリア、カナダ、インド、ナイジェリア、エジプトで代表される非アメリカ英語アクセントとの対比である。2つ目は、アメリカ、イギリス、オーストラリア、カナダを含む「内側の円」と、インド、ナイジェリア、エジプトを含む「外側の円」および「拡大する円」との区別である。Hugging Faceは、新たなアクセントが追加されるにつれて、これら後者の2つの円を分離していくと述べている。
Liva AIとは
Liva AIは、実際のユーザーが使用する消費者向け製品を通じて、マルチモーダルなインタラクションデータを収集している。同社は収集環境と製品流通の両方を管理しているため、提示資料によれば、様々な領域、セクター、言語、モダリティ、インタラクションタイプにおいて、モデルの弱点に応じて製品を設計できるという。Hugging Faceのブログは、これらのデータが、人工的に誘発された、または特定のタスクに関連したインタラクションではなく、製品の実際の使用から生まれる、文脈豊かな自然な行動を反映していると説明している。
