ElevenLabs kondigt SFX v3 aan, de nieuwste versie van zijn model voor het genereren van geluidseffecten. Het is nu beschikbaar in ElevenCreative en via ElevenAPI, en wordt gepresenteerd als betrouwbaarder voor prompts die meerdere geluiden tegelijk beschrijven, met overtuigendere muziek en stemmen en een schoner, natuurlijker geluid dan SFX v2 in benchmarktests.
- ElevenLabs lanceert SFX v3 voor ElevenCreative en ElevenAPI.
- Het model volgt meerdere geluidsinstructies in één prompt beter.
- Muziek en stemmen klinken overtuigender dan bij SFX v2.
- Gongs, belletjes en fluitjes klinken schoner en met minder artefacten.
Een sterke scène rust zelden op één enkel geluid. Een voetbalsequentie kan een juichende menigte, een vallende bal en vervolgens dezelfde menigte die een paar seconden later fluit nodig hebben. Tot nu toe vereiste het verkrijgen van al deze elementen uit één enkele prompt veelvuldig proberen.
Meerdere geluiden in éénzelfde prompt
SFX v3 volgt meerdere instructies binnen dezelfde tekst beter. Meer van de beschreven geluiden komen dus terug in de gegenereerde audio. Volgens ElevenLabs kan de gebruiker de geluiden die zijn scène vormen beschrijven en beluisteren hoe ze zich tot elkaar verhouden.
Voor makers van video’s, games of andere projecten bestaat de voorgestelde methode uit het starten met de hoofdactie, het toevoegen van de omgevingsgeluiden en vervolgens het beluisteren van hun gezamenlijke weergave. De beschrijving kan daarna worden aangepast om dichter bij het gewenste resultaat te komen.
Muziek, stemmen en geluidskwaliteit
Het model verbetert ook de generatie wanneer de prompt muziek en stemmen bevat. Het maakt het volgens het bedrijf mogelijk om effecten te creëren die een muzikale frase of een vocale interpretatie combineren met omgevings- en alledaagse geluiden.
De kwaliteit van elk geluid beïnvloedt de geloofwaardigheid van een scène. Een gong moet zijn resonantie behouden, een belletje zijn gerinkel, en een fluitje moet zijn toon vasthouden zonder schril of knetterend te worden. ElevenLabs geeft aan dat SFX v3 de algehele geluidskwaliteit verbetert en de kans op dergelijke ongewenste artefacten bij gongs, belletjes en fluitjes verkleint. De verkregen audio behoudt beter het karakter van het gevraagde geluid, of het nu op de voorgrond staat of details op de achtergrond toevoegt.
Beschikbaarheid
In ElevenCreative kunnen effecten worden gegenereerd en verkend in het tabblad Sound Effects, toegevoegd aan Flows, of geïntegreerd in projecten in Studio. SFX v3 is ook toegankelijk via de mobiele app van ElevenLabs. Ontwikkelaars kunnen het model op hun beurt gebruiken via ElevenAPI, zijn programmeerinterface, om de generatie van geluidseffecten in hun eigen producten en workflows te integreren.
