ElevenLabs ogłasza wydanie SFX v3, swojego najnowszego modelu generowania efektów dźwiękowych, dostępnego w jego API Sound Effects. Według firmy, lepiej przestrzega on wielu instrukcji niż SFX v2 i lepiej radzi sobie z głosami i muzyką.
Przejście na nowy model
Aby użyć SFX v3, wystarczy zmienić identyfikator modelu, parametr model_id, ustawiając go na eleven_text_to_sound_v3 w punkcie końcowym POST /v1/sound-generation. Punkt końcowy (endpoint) oznacza adres, pod który aplikacja wysyła swoje żądania w API, czyli interfejsie programowania.
Długość nie musi być precyzowana: model sam wybiera długość efektu na podstawie instrukcji, zwanej promptem. Jeśli konieczne jest precyzyjne dopasowanie, parametr duration_seconds pozwala ustawić żądaną długość.
Gdy wynik odbiega od żądania, parametr prompt_influence można podnieść powyżej jego wartości domyślnej, ustawionej na 0,3. Wyższe wartości powodują ściślejsze przestrzeganie instrukcji i zmniejszają różnice między dwoma generowaniami. Parametr żądania output_format definiuje natomiast kodek i częstotliwość próbkowania pliku, z formatami takimi jak mp3_44100_128 lub pcm_48000.
Wreszcie, funkcja zapętlania działa na razie tylko z eleven_text_to_sound_v2. Żądanie wymagające pętli musi więc pozostać na tym modelu, z parametrem loop: true.
Formułowanie instrukcji
SFX v3 jest przedstawiany jako szczególnie wydajny w przypadku efektów dźwiękowych składających się z wielu sekwencji. Kolejność instrukcji ma znaczenie: należy wymieniać zdarzenia w kolejności, w jakiej mają wystąpić, na przykład « Footsteps on gravel, then a metallic door opens », czyli « Kroki na żwirze, potem otwierają się metalowe drzwi ». Dla pojedynczego dźwięku, krótka i konkretna instrukcja daje najlepsze rezultaty.
Sformułowanie również ma znaczenie. Według ElevenLabs, jeden z jego testerów zauważył, że « a couple arguing in French » (kłócąca się para po francusku) dawało znacznie lepsze wyniki niż « a couple fighting in French » (walcząca para po francusku). Firma zaleca przetestowanie kilku sformułowań dla tego samego zdarzenia przed ostatecznym wyborem.
Porównanie v2 i v3
SFX v3 jest opisany jako aktualizacja przyrostowa. Ma być mniej podatny na przesterowanie dźwięków wysokich, takich jak gongi, dzwonki czy gwizdki czajnika, czyli na ich zniekształcenie, gdy sygnał przekracza maksymalny dopuszczalny poziom. Zespół inżynieryjny firmy uważa ponadto, że renderowanie jest ogólnie bardziej naturalne.
Ponieważ oba modele działają na tym samym punkcie końcowym, łatwo porównać ich wyniki: wystarczy wysłać swoje najczęstsze żądania jednocześnie do v2 i v3 przed zmianą modelu. Efekty dźwiękowe są również dostępne bez kodu, w zakładce Sound Effects, a także w Flows i Studio, w ramach ElevenCreative.
