Синтез речи, или text to speech (TTS), преобразует письменный текст в озвученную речь. Как говорится в статье ElevenLabs, система сначала анализирует текст, чтобы определить, как должен произноситься каждый элемент, а затем модель искусственного интеллекта генерирует звук.
Как работает синтез речи
Процесс проходит в две основные фазы. Первая, так называемая фронтенд-обработка, очищает текст, разбивает его на токены (языковые единицы, которыми могут быть слово, часть слова или знак препинания) и преобразует в математические представления, называемые векторами, которыми система может манипулировать. Вторая, бэкенд-обработка, превращает эти данные в звуковые волны, моделирующие речь.
Движок также должен интерпретировать символы. Так, он читает «$11» как «eleven dollars». Кроме того, он должен управлять просодией, то есть высотой и ритмом голоса, которые придают речи естественность. Для этого он опирается на контекст, в частности, для омографов — слов, которые пишутся одинаково, но не всегда произносятся одинаково.
В статье процесс прослеживается на примере фразы «Mr. Ríos paid $11 on 10/06.». Движок раскрывает «Mr.» как «Mister», читает «$11» как «eleven dollars» и решает, означает ли «10/06» «October sixth» или «the tenth of June», в зависимости от языка и контекста. Затем он ставит ударение на «eleven dollars», добавляет короткую паузу перед датой и понижает высоту голоса в конце фразы. После этого акустическая модель создает мел-спектрограмму — представление частот и энергии звука во времени, которую вокодер преобразует в звуковую волну. Ошибка на предыдущем этапе, например, неправильно прочитанная дата, отражается в итоговом звуке.
Почему нейронный голос кажется более человечным
Самые современные нейронные движки используют глубокую нейронную сеть, обученную на больших объемах голосовых записей вместе с соответствующими текстами. Они отлично справляются с созданием естественной и разборчивой речи — двух критериев, которые инженеры используют для оценки таких движков.
Они пришли на смену двум поколениям технологий. Формантный синтез, доминировавший в 1970-х и 1980-х годах, генерировал звуки, смоделированные на основе математических правил. Он был разборчивым, но монотонным и роботизированным. Конкатенативный синтез, использовавшийся с 1990-х по 2010-е годы, собирал речь из небольших фрагментов человеческого голоса, извлеченных из обширного корпуса. Он был более естественным, но мог казаться отрывистым.
В статье также проводится различие между синтезом речи и «генераторами голоса на ИИ» — маркетинговым термином, обозначающим более широкий набор технологий, включая дизайн голоса, клонирование голоса и перенос голосового стиля. Синтез речи является его частью.
Применение и управление произношением
Синтез речи используется для повествования, закадрового голоса, дубляжа, аудиокниг и диалогов в видеоиграх. В статье приводится пример TAP, которая использовала ElevenLabs TTS для создания образовательного контента для школ в Индии. Он также служит для обеспечения доступности, в частности, в программах экранного доступа, помощниках по чтению для людей с дислексией и изучении языков. В службах поддержки клиентов голосовые агенты сочетают распознавание речи, LLM (большие языковые модели) и подключенные инструменты. По данным источника, Klarna сократила время решения проблем в 10 раз благодаря ElevenAgents.
Для исправления ошибок произношения, особенно в именах собственных или профессиональном жаргоне, ElevenAPI предлагает словари произношения в формате PLS, которые связывают написание с фонемами, а также фонетические теги в нотации МФА (Международный фонетический алфавит) непосредственно в тексте. Разработчики также могут подключить свое приложение через API, отправляя текст, идентификатор голоса и идентификатор модели. Согласно статье, для разговорных агентов задержка может быть снижена примерно до 100 мс до первого звука.
