ElevenLabs kündigt die Veröffentlichung von SFX v3 an, seinem neuesten Modell zur Erzeugung von Soundeffekten, das in seiner Sound Effects API verfügbar ist. Laut dem Unternehmen folgt es mehrfachen Anweisungen besser als SFX v2 und verarbeitet Stimmen und Musik besser.
- ElevenLabs veröffentlicht SFX v3 für Entwickler über die Sound Effects API.
- Das Modell befolgt mehrere Anweisungen besser und verarbeitet Stimmen sowie Musik besser.
- Der Wechsel erfolgt über den Parameter model_id, die Loop-Funktion funktioniert aber nur mit v2.
- Beide Modelle lassen sich am selben Endpunkt vergleichen, Soundeffekte sind auch ohne Code verfügbar.
Zum neuen Modell wechseln
Um SFX v3 zu verwenden, muss lediglich die Modellkennung, der Parameter model_id, auf eleven_text_to_sound_v3 am Endpunkt POST /v1/sound-generation gesetzt werden. Ein Endpunkt bezeichnet die Adresse, an die eine Anwendung ihre Anfragen in einer API, also einer Programmierschnittstelle, sendet.
Die Dauer muss nicht angegeben werden: Das Modell wählt selbstständig die Länge des Effekts basierend auf der Anweisung, dem sogenannten Prompt. Falls eine präzise Synchronisierung erforderlich ist, erlaubt der Parameter duration_seconds, die gewünschte Dauer festzulegen.
Wenn das Ergebnis von der Anfrage abweicht, kann der Parameter prompt_influence über seinen Standardwert von 0,3 erhöht werden. Höhere Werte sorgen für eine genauere Befolgung der Anweisung und reduzieren die Abweichungen zwischen zwei Generierungen. Der Abfrageparameter output_format definiert hingegen den Codec und die Abtastfrequenz der Datei, mit Formaten wie mp3_44100_128 oder pcm_48000.
Schließlich funktioniert die Loop-Funktion derzeit nur mit eleven_text_to_sound_v2. Eine Anfrage, die eine Schleife benötigt, muss daher auf diesem Modell bleiben, mit dem Parameter loop: true.
Anweisungen formulieren
SFX v3 wird als besonders leistungsfähig für Soundeffekte mit mehreren Sequenzen präsentiert. Die Reihenfolge der Anweisungen ist wichtig: Die Ereignisse müssen in der Reihenfolge aufgezählt werden, in der sie auftreten sollen, zum Beispiel « Footsteps on gravel, then a metallic door opens », also « Schritte auf Kies, dann öffnet sich eine metallische Tür ». Für einen einzelnen Klang liefert eine kurze und konkrete Anweisung die besten Ergebnisse.
Auch die Formulierung ist wichtig. Laut ElevenLabs hat einer seiner Tester festgestellt, dass « a couple arguing in French » (ein Paar, das sich auf Französisch streitet) deutlich bessere Ergebnisse lieferte als « a couple fighting in French » (ein Paar, das sich auf Französisch prügelt). Das Unternehmen empfiehlt, für dasselbe Ereignis mehrere Formulierungen zu testen, bevor man sich festlegt.
v2 und v3 vergleichen
SFX v3 wird als inkrementelles Update beschrieben. Es soll weniger anfällig für das Clipping hoher Töne sein, wie bei Gongs, Glockenspielen oder Kesselpfeifen, also für deren Verzerrung, wenn das Signal das maximal zulässige Niveau überschreitet. Das Ingenieursteam des Unternehmens hält das Rendering insgesamt für natürlicher.
Da beide Modelle auf demselben Endpunkt arbeiten, ist es einfach, ihre Ergebnisse zu vergleichen: Man muss lediglich seine häufigsten Anfragen gleichzeitig an v2 und v3 senden, bevor man das Modell wechselt. Die Soundeffekte sind auch ohne Code zugänglich, im Tab Sound Effects sowie in Flows und Studio innerhalb von ElevenCreative.
