ElevenLabs запускает две модели транскрипции речи: Scribe v3 для записей и Scribe v3 Live для работы в реальном времени. По заявлению компании, Scribe v3 допускает на 27% меньше ошибок в словах, чем Scribe v2, для 102 языков, а Scribe v3 Live — на 43% меньше, чем Scribe v2 Realtime.
Транскрипция лежит в основе многих аудиопродуктов: протоколов совещаний, голосовых агентов, дубляжа, клинической документации или архивов трансляций. Ошибка, допущенная на этом этапе, распространяется по всей цепочке, где её исправление обходится гораздо дороже. При этом реальный аудиоматериал редко бывает чистым. Несколько человек говорят одновременно, клиент делает паузу в середине фразы, или в разговоре участвуют собеседники, не говорящие на родном языке.
Запросы, которые сформировали Scribe v3
Scribe уже использовался для транскрипции «сотен миллионов часов» в приложениях для заметок, контакт-центрах, инструментах клинической документации и голосовых агентах. По словам ElevenLabs, команды, использующие его, запрашивали пять улучшений. Приложения для совещаний хотели лучшего определения говорящих в быстрых диалогах и беседах с участием трёх и более человек. Команды, работающие с голосовыми агентами, сообщали, что таймер тишины обрывает речь звонящих, когда они делают паузу. Другие просили уровень точности, более близкий к обработке с задержкой. Клиенты из Индии хотели, чтобы хинди был так же надёжен, как английский, включая случаи, когда звонящие переходят с одного языка на другой в середине фразы. Наконец, многие хотели больше контроля над форматированием — от записи чисел цифрами до достаточно длинных списков терминов для каталога продукции.
Scribe v3 допускает на 17% меньше ошибок диаризации, чем Scribe v2, в записях с тремя и более говорящими — в случаях, где, по утверждению компании, большинство существующих моделей терпят неудачу. Диаризация — это определение того, кто говорит в каждый момент времени. Scribe v3 Live вводит эту функцию в реальном времени и демонстрирует на 39% меньше ошибок диаризации, чем лучшая из протестированных моделей реального времени.
Для определения реплик классические системы полагаются на паузы. Короткий порог рискует обрывать речь людей, делающих паузу в середине фразы, в то время как длинный порог создаёт ощущение медлительности. Scribe v3 Live также учитывает контекст разговора, так что звонящий, который прервался в середине номера, не обрывается. Это определение уже используется в ElevenAgents и теперь доступно в API.
Модель также может предугадывать языки, которые могут встретиться в записи, и выбирать отображение чисел цифрами или словами. «Keyterm prompting» принимает до 1000 ожидаемых терминов, таких как названия брендов, аббревиатуры или жаргон, в то время как библиотека ключевых терминов, доступная только для Scribe v3 Live, содержит тысячи терминов и обращается к ним только при вероятном совпадении. Правила форматирования, написанные простым английским языком, также могут быть применены, например, для записи каждой даты в формате ГГГГ-ММ-ДД.
Результаты, измеренные на нескольких наборах данных
ElevenLabs сравнила свои модели с Scribe v2, Scribe v2 Realtime и другими популярными моделями на одних и тех же наборах данных. Многоязычная точность оценивалась на внутренней версии бенчмарка FLEURS, который тестирует короткое и чистое чтение на 102 языках. Этот бенчмарк не позволяет измерить диаризацию, так как каждый отрывок содержит только одного говорящего. Поэтому компания создала собственный набор данных, состоящий из реальных совещаний, звонков и голосовых заметок на 16 языках, который, как она объявляет, планирует вскоре опубликовать в открытом доступе.
На FLEURS Scribe v3 снижает частоту ошибок в словах (WER) на 27% по сравнению с Scribe v2, с улучшением по каждому протестированному языку. Прирост составляет 42% для немецкого, 35% для испанского и 23% для английского, достигая 34% для суахили, 29% для тамильского и 28% для тайского. Для Scribe v3 Live ElevenLabs заявляет о снижении частоты семантических ошибок (которые считаются только при изменении смысла) на 43% и WER на 31% по сравнению с Scribe v2 Realtime. Греческий улучшился на 77%, датский — на 54%, хорватский — на 45%.
В ElevenAgents: пример Eneco
Eneco, которая поставляет энергию более чем 2 миллионам домохозяйств и предприятий в Нидерландах, запускает своего голосового агента на ElevenAgents и тестировала Scribe v3 Live до его выпуска. Во время реальных звонков агент с первого раза распознавал голландские почтовые индексы на 40% чаще, а номера домов — на 15% чаще. Рууд Хёйслют, старший менеджер по продукту в Eneco, заявил: «ElevenLabs — настоящий партнёр для Eneco. С их инженерами, работающими на месте, мы продолжаем улучшать нашего голосового агента».
Scribe v3 и Scribe v3 Live по умолчанию работают в США и предлагаются в изолированных средах в Европейском союзе, Индии и Сингапуре для компаний, подпадающих под требования резидентности данных. Режим Zero Retention удаляет аудио и текст сразу после завершения запроса. Обе модели охвачены программами SOC 2, ISO 27001 и PCI DSS Level 1 и соответствуют требованиям HIPAA. Существующие интеграции переходят на Scribe v3 путём замены идентификатора модели на scribe_v3 или scribe_v3_live. Версия Scribe v3 Live, оптимизированная для медицинских бесед, также предлагается в ElevenAgents.
