ElevenLabs annuncia il rilascio di SFX v3, il suo modello di generazione di effetti sonori più recente, disponibile nella sua API Sound Effects. Secondo l’azienda, segue meglio le istruzioni multiple rispetto a SFX v2 e gestisce meglio le voci e la musica.
- ElevenLabs rilascia SFX v3, il suo modello più recente per gli effetti sonori, che segue meglio le istruzioni multiple.
- Per passare al nuovo modello basta impostare model_id su eleven_text_to_sound_v3.
- Il loop funziona ancora solo con eleven_text_to_sound_v2, quindi resta su quel modello.
- Conviene testare più formulazioni dello stesso evento e confrontare v2 e v3 prima di scegliere.
Passare al nuovo modello
Per utilizzare SFX v3, basta modificare l’identificatore del modello, il parametro model_id, impostandolo su eleven_text_to_sound_v3 sull’endpoint POST /v1/sound-generation. Un endpoint designa l’indirizzo a cui un’applicazione invia le sue richieste in un’API, ovvero un’interfaccia di programmazione.
La durata non deve essere specificata: il modello sceglie autonomamente la lunghezza dell’effetto in base all’istruzione, chiamata prompt. Se è necessario un calibro preciso, il parametro duration_seconds permette di fissare la durata desiderata.
Quando il risultato si discosta dalla richiesta, il parametro prompt_influence può essere aumentato oltre il suo valore predefinito, fissato a 0,3. Valori più elevati fanno seguire l’istruzione più da vicino e riducono le differenze tra due generazioni. Il parametro di richiesta output_format definisce invece il codec e la frequenza di campionamento del file, con formati come mp3_44100_128 o pcm_48000.
Infine, la funzione di loop funziona per il momento solo con eleven_text_to_sound_v2. Una richiesta che necessita di un loop deve quindi rimanere su questo modello, con il parametro loop: true.
Formulare le proprie istruzioni
SFX v3 viene presentato come particolarmente performante per gli effetti sonori in più sequenze. L’ordine delle istruzioni conta: bisogna enumerare gli eventi nell’ordine in cui devono verificarsi, ad esempio « Footsteps on gravel, then a metallic door opens », ovvero « Passi sulla ghiaia, poi una porta metallica si apre ». Per un suono unico, un’istruzione breve e concreta dà i migliori risultati.
La formulazione ha anch’essa la sua importanza. Secondo ElevenLabs, uno dei suoi tester ha constatato che « a couple arguing in French » (una coppia che litiga in francese) dava risultati molto migliori di « a couple fighting in French » (una coppia che combatte in francese). L’azienda raccomanda di testare diverse formulazioni per lo stesso evento prima di fissare la propria scelta.
Confrontare v2 e v3
SFX v3 è descritto come un aggiornamento incrementale. Sarebbe meno soggetto a clipare i suoni acuti, come i gong, i carillon o i fischi del bollitore, ovvero a distorcerli quando il segnale supera il livello massimo ammissibile. Il team di ingegneria dell’azienda ritiene inoltre che il rendering sia globalmente più naturale.
Poiché i due modelli funzionano sullo stesso endpoint, è facile confrontare i loro risultati: basta inviare le proprie richieste più frequenti sia a v2 che a v3 prima di cambiare modello. Gli effetti sonori sono accessibili anche senza codice, nella scheda Sound Effects, così come in Flows e Studio, all’interno di ElevenCreative.
