Phonon, un piccolo modello di sintesi vocale (TTS, per text-to-speech), è stato appena aperto al pubblico. Funziona direttamente sul dispositivo dell’utente, senza server né connessione di rete, e i testi inseriti rimangono sul dispositivo.
- Phonon è un modello di sintesi vocale che funziona in locale, senza server né connessione.
- Supporta cinque lingue, due dimensioni e oltre 100 voci, anche personalizzabili.
- Secondo l’Open TTS Leaderboard, Phonon è primo per intelligibilità in tedesco e spagnolo e si distingue per velocità.
- Il modello è rilasciato con licenza Apache 2.0 e ha superato le 200.000 scaricamenti in due settimane.
Una voce che vive sul dispositivo
La maggior parte delle IA vocali funziona nel cloud, con ogni frase che fa un viaggio di andata e ritorno verso un server. Phonon, al contrario, gira in locale e la voce rimane disponibile senza rete. I pesi del modello sono anch’essi pubblicati. Phonon 31m è sotto licenza Apache 2.0, il che ne permette l’uso gratuito, anche in un prodotto commerciale. Gli altri modelli sono sotto licenza CC BY-NC, gratuiti per progetti non commerciali. Per un uso commerciale di questi ultimi, la tariffazione dipende dal numero di utenti, e non dal volume di parlato generato.
Far girare una voce di qualità su un piccolo dispositivo è stato a lungo difficile: un modello ridotto suonava peggio, mentre un modello più performante non stava sul dispositivo. Phonon risponde a entrambi i vincoli contemporaneamente. Annunciato ad aprile, il progetto è stato poi sviluppato per sei mesi con partner e primi utenti, i cui feedback hanno guidato questa versione. I modelli sono stati ridotti, sono state aggiunte più lingue ed è stata integrata la gestione di voci personalizzate, tramite clonazione o creazione.
Phonon si basa sulla linea di Pocket TTS e utilizza il flow matching, una tecnica di generazione dell’audio molto diversa da quelle impiegate negli altri sistemi TTS. Ha permesso di raggiungere questo livello di qualità su un modello così piccolo, ma ha posto difficoltà nell’addestramento: quest’ultimo è stato inizialmente numericamente instabile e ha richiesto diversi stratagemmi per produrre risultati di qualità nelle cinque lingue.
Due dimensioni, cinque lingue e dimostrazioni
Phonon esiste in due dimensioni, di circa 65 MB e 75 MB. Insieme, le due versioni parlano inglese, francese, tedesco, spagnolo e portoghese. Sono integrate oltre 100 voci, ed è possibile creare le proprie voci in Gradium Studio. Il modello gestisce anche numeri di telefono, date e codici, elementi che molti sistemi TTS faticano a leggere correttamente. Funziona su telefoni, laptop, schede monocircuito e in una scheda del browser.
Il lancio è stato accompagnato da dimostrazioni, realizzate da persone vicine al team e dai suoi stessi membri. Su un Apple Watch senza Wi-Fi, Phonon guida passo dopo passo la preparazione di un caffè. Su un iPhone senza rete, conta le ripetizioni di un esercizio. Un robot chiamato Lamp, dell’azienda Autonomous, indossa un cappello parlante e parla nel suo personaggio. In un browser, un gioco di dinosauro offline diventa un programma radiofonico presentato da Rex, e Proust viene letto ad alta voce, pagina dopo pagina.
Anche alcuni sviluppatori hanno iniziato a costruire su Phonon. Una conversione ExecuTorch permette di farlo girare sulla GPU di un visitatore nel browser, la piattaforma Micdrop lo integra nelle applicazioni Node.js, e degli Spaces come smallest-s2s si basano su di esso. Il modello è stato scaricato più di 200.000 volte nelle sue prime due settimane.
Risultati sulla classifica Open TTS
L’Open TTS Leaderboard, progetto molto recente di Hugging Face, permette di confrontare i modelli TTS aperti, più di 9.000 dei quali sono referenziati sull’Hugging Face Hub. I modelli vengono valutati su 23 lingue, in base all’intelligibilità, alla velocità e al carattere naturale della voce. Secondo questa classifica, Phonon arriva in prima posizione per l’intelligibilità in tedesco e spagnolo, e nella top tre in tutte le lingue valutate, accanto a modelli fino a 100 volte più grandi. Si distingue soprattutto sulla velocità, poiché figura in testa al benchmark di streaming CPU per il ritardo prima della prima uscita audio.
Per far funzionare Phonon su un gran numero di dispositivi, il team ha sviluppato ptts, un framework di inferenza compatibile con più di 10 backend, tra cui CPU, GPU e NPU. Phonon è anche disponibile in 🤗 Transformers a partire dalla versione 5.21, come implementazione di riferimento PyTorch. Phonon è la prima versione aperta di questo team.
