Рейтинг систем автоматического распознавания речи Open ASR Leaderboard пополнился частными данными благодаря новому партнерству с Liva AI. Это партнерство добавляет два акцента — египетский и нигерийский — и позволяет более детально представлять результаты в разрезе акцентов.
Несколькими месяцами ранее рейтинг уже интегрировал частные данные: 11 отдельных наборов, предоставленных Appen и DataOceanAI, охватывающих сценарную и разговорную речь в пяти акцентах. Реакции сообщества были многочисленными, многие подчеркивали важность тестовых наборов, изолированных от обучения, так называемых « held-out », которые позволяют оценивать модели на данных, отсутствующих в их обучающей выборке. Дополнительный набор, посвященный английскому с индийским акцентом, был позже добавлен с помощью Voice Arena.
Два новых акцента: египетский и нигерийский
Партнерство с Liva AI приносит два новых частных набора данных. Первый, Liva AI Conversational EG, представляет египетский акцент на 1,34 часа записей. Второй, Liva AI Conversational NG, охватывает нигерийский акцент на 1,55 часа. Оба относятся к спонтанной разговорной речи с пунктуационной транскрипцией, в верхнем и нижнем регистре, которая сохраняет дисфлюэнции — то есть свойственные устной речи колебания, повторы и самоперебивы.
По словам Hugging Face, это добавление является частью постоянных усилий по лучшему представлению акцентов и языков в оценках и по укреплению доверия к результатам. Новые частные данные должны снизить риск « benchmaxxing », то есть оптимизации модели под известные тесты, одновременно расширяя круг поставщиков данных.
Разделение по трём кругам Качру
С этими новыми акцентами рейтинг может представлять более детальное разделение, основанное на трёх кругах Качру — модели, которая классифицирует варианты использования английского языка в мире. Идея была позаимствована со страницы рейтинга Hume AI, которую Hugging Face явно благодарит.
Open ASR Leaderboard теперь будет отображать два варианта разбивки. Первый противопоставляет американские акценты неамериканским, представленным Великобританией, Австралией, Канадой, Индией, Нигерией и Египтом. Второй различает внутренний круг, который объединяет США, Великобританию, Австралию и Канаду, от внешнего круга и расширяющегося круга, включающих Индию, Нигерию и Египет. Hugging Face указывает, что разделит эти два последних круга по мере добавления новых акцентов.
Кто такая Liva AI
Liva AI собирает мультимодальные данные взаимодействия через потребительские продукты, используемые реальными людьми. Поскольку компания контролирует как среду сбора, так и распространение своих продуктов, она может, согласно её описанию, разрабатывать продукты с учётом пробелов в моделях, в различных областях, секторах, языках, модальностях и типах взаимодействия. Блог Hugging Face уточняет, что эти данные отражают естественное и богатое контекстом поведение, возникающее из реального использования продуктов, а не искусственно вызванные или связанные с конкретной задачей взаимодействия.
