ElevenLabs kondigt de release aan van SFX v3, zijn nieuwste model voor het genereren van geluidseffecten, beschikbaar in zijn Sound Effects API. Volgens het bedrijf volgt het meerdere instructies beter dan SFX v2 en gaat het beter om met stemmen en muziek.
- ElevenLabs lanceert SFX v3, zijn nieuwste model voor geluidseffecten.
- Het model volgt instructies beter en verwerkt stemmen en muziek beter.
- Overstappen vraagt alleen een wijziging van de model_id naar eleven_text_to_sound_v3.
- Loops blijven werken met eleven_text_to_sound_v2, omdat v3 dit nog niet ondersteunt.
Overstappen naar het nieuwe model
Om SFX v3 te gebruiken, hoeft alleen de model-ID, de parameter model_id, gewijzigd te worden naar eleven_text_to_sound_v3 op het eindpunt POST /v1/sound-generation. Een eindpunt (of endpoint) is het adres waar een applicatie zijn verzoeken naartoe stuurt in een API, een programmeerinterface.
De duur hoeft niet gespecificeerd te worden: het model kiest zelf de lengte van het effect op basis van de instructie, die een prompt wordt genoemd. Als een precieze timing nodig is, kan de parameter duration_seconds worden gebruikt om de gewenste duur in te stellen.
Wanneer het resultaat afwijkt van de vraag, kan de parameter prompt_influence worden verhoogd boven de standaardwaarde van 0,3. Hogere waarden zorgen ervoor dat de instructie nauwkeuriger wordt gevolgd en verminderen de verschillen tussen twee generaties. De queryparameter output_format bepaalt de codec en samplefrequentie van het bestand, met formaten zoals mp3_44100_128 of pcm_48000.
Tot slot werkt de looping-functie momenteel alleen met eleven_text_to_sound_v2. Een verzoek dat een loop nodig heeft, moet daarom op dit model blijven, met de parameter loop: true.
Je instructies formuleren
SFX v3 wordt gepresenteerd als bijzonder krachtig voor geluidseffecten met meerdere sequenties. De volgorde van de instructies is belangrijk: som de gebeurtenissen op in de volgorde waarin ze moeten plaatsvinden, bijvoorbeeld « Footsteps on gravel, then a metallic door opens », oftewel « Voetstappen op grind, dan gaat een metalen deur open ». Voor een enkel geluid geeft een korte, concrete instructie de beste resultaten.
De formulering is ook belangrijk. Volgens ElevenLabs merkte een van zijn testers dat « a couple arguing in French » (een ruziënd stel in het Frans) veel betere resultaten opleverde dan « a couple fighting in French » (een vechtend stel in het Frans). Het bedrijf raadt aan om voor dezelfde gebeurtenis verschillende formuleringen uit te proberen voordat een definitieve keuze wordt gemaakt.
V2 en V3 vergelijken
SFX v3 wordt beschreven als een incrementele update. Het zou minder snel hoge tonen zoals gongs, klokken of fluitende ketels laten oversturen, wat betekent dat ze vervormd raken wanneer het signaal het maximaal toegestane niveau overschrijdt. Het engineeringteam van het bedrijf vindt bovendien dat de weergave over het algemeen natuurlijker is.
Omdat beide modellen op hetzelfde eindpunt werken, is het gemakkelijk hun resultaten te vergelijken: stuur je meest voorkomende verzoeken tegelijkertijd naar zowel v2 als v3 voordat je van model wisselt. De geluidseffecten zijn ook toegankelijk zonder code, in het tabblad Sound Effects, en in Flows en Studio, binnen ElevenCreative.
