ElevenLabs анонсирует SFX v3, последнюю версию своей модели для генерации звуковых эффектов. Доступная уже сейчас в ElevenCreative и через ElevenAPI, она позиционируется как более надежная для промптов, описывающих несколько звуков одновременно, с более убедительной музыкой и голосами, а также более чистым и естественным звучанием по сравнению с SFX v2 в бенчмарк-тестах.
Сильная сцена редко держится на одном звуке. Футбольный эпизод может потребовать толпу, которая аплодирует, мяч, который падает, а затем ту же толпу, которая свистит спустя несколько секунд. До сих пор получение всего этого набора из одного промпта требовало множества попыток.
Несколько звуков в одном промпте
SFX v3 лучше следует нескольким инструкциям, содержащимся в одном тексте. Таким образом, больше описанных звуков оказывается в сгенерированном аудио. По словам ElevenLabs, пользователь может описать звуки, составляющие его сцену, и услышать, как они сочетаются друг с другом.
Для создателей видео, игр или других проектов предлагаемый метод заключается в том, чтобы начать с основного действия, добавить окружающие звуки, а затем прослушать их совместное звучание. Затем описание можно скорректировать, чтобы приблизиться к желаемому результату.
Музыка, голоса и качество звука
Модель также улучшает генерацию, когда промпт включает музыку и голоса. Она позволяет, по словам компании, создавать эффекты, сочетающие музыкальную фразу или вокальное исполнение с атмосферными и бытовыми звуками.
Качество каждого звука влияет на правдоподобие сцены. Гонг должен сохранять свое звучание, колокольчик — свой звон, а свисток — свою ноту, не становясь пронзительным или потрескивающим. ElevenLabs указывает, что SFX v3 улучшает общее качество звука и снижает вероятность появления таких нежелательных артефактов на гонгах, колокольчиках и свистках. Полученное аудио лучше сохраняет характер запрошенного звука, независимо от того, находится ли он на переднем плане или добавляет детали на заднем.
Доступность
В ElevenCreative эффекты можно генерировать и исследовать во вкладке Sound Effects, добавлять в Flows или интегрировать в проекты в Studio. SFX v3 также доступен в мобильном приложении ElevenLabs. Разработчики, в свою очередь, могут использовать модель через ElevenAPI, её программный интерфейс, для интеграции генерации звуковых эффектов в свои собственные продукты и рабочие процессы.
