Phonon, небольшая модель синтеза речи (TTS, от text-to-speech), только что стала общедоступной. Она работает непосредственно на устройстве пользователя, без сервера или сетевого подключения, а вводимые тексты остаются на устройстве.
Голос, который живет на устройстве
Большинство голосовых ИИ работают в облаке, каждая фраза совершает путь туда и обратно на сервер. Phonon же, напротив, работает локально, и голос остается доступным без сети. Веса модели также опубликованы. Phonon 31m распространяется под лицензией Apache 2.0, что позволяет использовать ее бесплатно, в том числе в коммерческом продукте. Другие модели находятся под лицензией CC BY-NC, бесплатной для некоммерческих проектов. Для коммерческого использования последних ценообразование зависит от количества пользователей, а не от объема сгенерированной речи.
Запуск качественного голоса на небольшом устройстве долгое время был сложной задачей: уменьшенная модель звучала хуже, а более производительная модель не помещалась на устройстве. Phonon решает обе проблемы одновременно. Анонсированный в апреле, проект затем разрабатывался в течение шести месяцев с партнерами и первыми пользователями, чьи отзывы легли в основу этой версии. Модели были уменьшены, добавлено больше языков, а также интегрирована поддержка пользовательских голосов путем клонирования или создания.
Phonon основан на линейке Pocket TTS и использует flow matching, технику генерации аудио, сильно отличающуюся от методов, применяемых в других системах TTS. Это позволило достичь такого уровня качества на столь маленькой модели, но создало трудности при обучении: оно изначально было численно нестабильным и потребовало нескольких уловок для получения качественных результатов на пяти языках.
Два размера, пять языков и демонстрации
Phonon существует в двух размерах, около 65 МБ и 75 МБ. Вместе две версии говорят на английском, французском, немецком, испанском и португальском языках. Интегрировано более 100 голосов, и можно создавать собственные голоса в Gradium Studio. Модель также обрабатывает номера телефонов, даты и коды, элементы, которые многие системы TTS с трудом читают правильно. Она работает на телефонах, ноутбуках, одноплатных компьютерах и во вкладке браузера.
Запуск сопровождался демонстрациями, проведенными близкими команды и ее собственными членами. На Apple Watch без Wi-Fi Phonon шаг за шагом проводит через приготовление кофе. На iPhone без сети он считает повторения упражнения. Робот по имени Lamp от компании Autonomous надевает распределяющую шляпу и говорит в своем персонаже. В браузере офлайн-игра про динозавра превращается в радиопередачу, которую ведет Рекс, а Пруста читают вслух, страницу за страницей.
Разработчики также начали строить на основе Phonon. Конверсия ExecuTorch позволяет запускать его на GPU посетителя в браузере, платформа Micdrop интегрирует его в приложения Node.js, а такие Spaces, как smallest-s2s, полагаются на него. Модель была загружена более 200 000 раз за первые две недели.
Результаты в рейтинге Open TTS
Open TTS Leaderboard, совсем недавний проект Hugging Face, позволяет сравнивать открытые модели TTS, более 9000 из которых представлены на Hugging Face Hub. Модели оцениваются на 23 языках по разборчивости, скорости и естественности голоса. Согласно этому рейтингу, Phonon занимает первое место по разборчивости на немецком и испанском языках и входит в тройку лучших по всем оцениваемым языкам, наряду с моделями, которые в 100 раз больше. Он особенно выделяется по скорости, возглавляя бенчмарк CPU streaming по времени до первого аудиовыхода.
Чтобы Phonon работал на большом количестве устройств, команда разработала ptts, фреймворк для вывода, совместимый с более чем 10 бэкендами, включая CPU, GPU и NPU. Phonon также доступен в 🤗 Transformers начиная с версии 5.21 в качестве эталонной реализации на PyTorch. Phonon, первая открытая версия от этой команды.
