ElevenLabs анонсировала выпуск SFX v3, своей новейшей модели генерации звуковых эффектов, доступной в её API Sound Effects. По словам компании, она лучше следует множественным инструкциям, чем SFX v2, и лучше обрабатывает голоса и музыку.
Переход на новую модель
Чтобы использовать SFX v3, достаточно изменить идентификатор модели, параметр model_id, установив его в значение eleven_text_to_sound_v3 на конечной точке POST /v1/sound-generation. Конечная точка (endpoint) — это адрес, по которому приложение отправляет свои запросы к API, то есть интерфейсу программирования.
Длительность не обязательно указывать: модель сама выбирает продолжительность эффекта на основе инструкции, которая называется промпт (prompt). Если требуется точное соответствие, параметр duration_seconds позволяет задать желаемую длительность.
Если результат отклоняется от запроса, параметр prompt_influence можно увеличить сверх его значения по умолчанию, установленного на 0,3. Более высокие значения заставляют модель точнее следовать инструкции и уменьшают различия между двумя генерациями. Параметр запроса output_format определяет кодек и частоту дискретизации файла, с такими форматами, как mp3_44100_128 или pcm_48000.
Наконец, функция зацикливания на данный момент работает только с eleven_text_to_sound_v2. Поэтому запрос, требующий цикла, должен оставаться на этой модели с параметром loop: true.
Формулировка инструкций
SFX v3 представлена как особенно эффективная для звуковых эффектов, состоящих из нескольких последовательностей. Порядок инструкций имеет значение: события нужно перечислять в том порядке, в котором они должны происходить, например, « Footsteps on gravel, then a metallic door opens », то есть « Шаги по гравию, затем открывается металлическая дверь ». Для одиночного звука лучшие результаты даёт короткая и конкретная инструкция.
Формулировка также важна. По данным ElevenLabs, один из её тестировщиков обнаружил, что « a couple arguing in French » (пара, ссорящаяся на французском) даёт гораздо лучшие результаты, чем « a couple fighting in French » (пара, дерущаяся на французском). Компания рекомендует протестировать несколько формулировок для одного и того же события, прежде чем окончательно выбрать одну.
Сравнение v2 и v3
SFX v3 описывается как инкрементальное обновление. Она менее склонна к клиппингу высокочастотных звуков, таких как гонги, колокольчики или свистки чайника, то есть к их искажению, когда сигнал превышает максимально допустимый уровень. Инженерная команда компании также считает, что рендеринг в целом стал более естественным.
Поскольку обе модели работают на одной конечной точке, легко сравнить их результаты: достаточно отправить свои наиболее частые запросы одновременно в v2 и v3, прежде чем переходить на новую модель. Звуковые эффекты также доступны без написания кода, во вкладке Sound Effects, а также в Flows и Studio внутри ElevenCreative.
