ElevenLabs представляет Cue — модель принудительного выравнивания, которая размещает каждый символ аудиофайла на точной временной шкале. По словам компании, она точнее всех протестированных выравнивателей на реальных записях по 29 языкам из бенчмарка. Она уже питает семейство моделей Scribe, модель транскрипции ElevenLabs.
Любой зритель знаком с эффектом субтитра, появляющегося на секунду позже: сцена теряет связность. Видео и программы, использующие голосовые модели, сталкиваются с той же проблемой, когда транскрипция подсвечивает не то слово. Принудительное выравнивание заключается в сопоставлении каждого слова транскрипции с точным моментом его произнесения. Его не следует путать с выравниванием ИИ, которое направлено на согласование поведения систем с человеческими ценностями и предпочтениями. Здесь речь идёт исключительно о совмещении текста и звука.
Данила Козлов, исследователь ElevenLabs, работающий над выравниванием, объясняет сложность: «Люди довольно хорошо умеют выравнивать медиа, по крайней мере, на уровне слова. У нас часто есть интуитивное представление о том, где слово начинается, но на уровне символа и с точностью менее миллисекунды это гораздо сложнее».
Ограничения для классических выравнивателей
До Cue компания использовала выравниватель, которым были оснащены все её продукты. Команда опросила клиентов и внутренних пользователей об их проблемах, и жалобы соответствовали ограничениям протестированных инструментов с открытым исходным кодом. Первая проблема касается длительности: многие выравниватели хорошо работают на фрагментах длиной около 30 секунд, но более длинные файлы приходится разрезать. Каждый кусок может добавить небольшую ошибку синхронизации, а соединение сегментов может добавить другие.
На полных записях средняя ошибка Cue составляет 179 миллисекунд, против 283 мс и более 6000 мс у инструментов с открытым исходным кодом. Реальные условия ещё больше усложняют задачу. Фоновый шум, наложенные голоса и фоновая музыка сбивают с толку многие инструменты, хотя именно такие файлы хотят транскрибировать многие пользователи. На английских записях с такими дефектами средняя ошибка Cue достигает 57 мс, против 65 мс и 920 мс у других.
Языковое покрытие также вызывает вопросы. Большинство выравнивателей с открытым исходным кодом требуют отдельную модель для каждого языка, поэтому языки с малым объёмом обучающих данных обрабатываются хуже или не поддерживаются вовсе. MMS-FA — единственный другой инструмент, покрывающий 29 языков бенчмарка, и Cue обычно оказался быстрее в определении границ между словами.
Скорость также важна, поскольку выравнивание больших объёмов аудио может быстро стать дорогим. По данным ElevenLabs, Cue выравнивает час аудио примерно за полсекунды на своём продакшн-GPU, графическом процессоре. Второй по скорости инструмент, Qwen3-ForcedAligner, тратит почти 2 секунды, а самый медленный превысил минуту.
Выровненные песни
Музыка — сложное испытание, поскольку пение растягивает и искажает слова. Однако Cue обработал подмножество песен из набора данных JamendoLyrics MultiLang под лицензией Creative Commons на английском, французском, испанском и немецком языках за один проход. Он разместил 92,7% слов в пределах 0,3 секунды от эталона, против 82,0% у следующего инструмента. Его средняя ошибка по началу слов составляет 0,82 секунды, что примерно вдвое меньше, чем у ближайшего конкурента. Он превзошёл все остальные инструменты как минимум на 19 из 22 песен.
Cue был быстро развёрнут, и один клиент сообщил, что грузинский и некоторые другие языки с малыми ресурсами давали худшие результаты, чем ожидалось. ElevenLabs утверждает, что выявила проблему, провела исследования возможных улучшений, обучила новую версию и выпустила её менее чем за 24 часа после первого сообщения.
Cue уже используется для всех транскрипций Speech to Text в ElevenLabs. Чтобы использовать его напрямую, компания отсылает к своему Forced Alignment API.
