Phonon, niewielki model syntezy mowy (TTS, od text-to-speech), został właśnie udostępniony publicznie. Działa bezpośrednio na urządzeniu użytkownika, bez serwera ani połączenia sieciowego, a wprowadzane teksty pozostają na urządzeniu.
- Phonon działa lokalnie, bez serwera i sieci, a wprowadzane teksty pozostają na urządzeniu.
- Model Phonon 31m ma licencję Apache 2.0, więc można go używać także komercyjnie.
- Phonon osiąga wysoką jakość w małym modelu i zajmuje czołowe miejsca w rankingu Open TTS.
- Model obsługuje pięć języków, ponad 100 głosów i działa szybko na wielu urządzeniach.
Głos, który żyje na urządzeniu
Większość głosowych modeli AI działa w chmurze, gdzie każde zdanie jest przesyłane do serwera i z powrotem. Phonon działa przeciwnie, lokalnie, a głos pozostaje dostępny bez sieci. Wagi modelu również zostały opublikowane. Phonon 31m jest dostępny na licencji Apache 2.0, co pozwala na jego darmowe wykorzystanie, także w produktach komercyjnych. Pozostałe modele są na licencji CC BY-NC, darmowej dla projektów niekomercyjnych. W przypadku komercyjnego wykorzystania tych ostatnich, cena zależy od liczby użytkowników, a nie od ilości wygenerowanej mowy.
Uruchomienie wysokiej jakości głosu na małym urządzeniu przez długi czas było trudne: mniejszy model brzmiał gorzej, a bardziej wydajny model nie mieścił się na urządzeniu. Phonon odpowiada na oba ograniczenia jednocześnie. Zapowiedziany w kwietniu projekt był następnie rozwijany przez sześć miesięcy z partnerami i pierwszymi użytkownikami, których opinie wpłynęły na tę wersję. Modele zostały zmniejszone, dodano więcej języków i zintegrowano obsługę głosów spersonalizowanych, poprzez klonowanie lub tworzenie.
Phonon opiera się na linii Pocket TTS i wykorzystuje flow matching, technikę generowania dźwięku bardzo różną od tych stosowanych w innych systemach TTS. Pozwoliła ona osiągnąć ten poziom jakości w tak małym modelu, ale sprawiła trudności w trenowaniu: proces był początkowo niestabilny numerycznie i wymagał kilku sztuczek, aby uzyskać wysokiej jakości wyniki w pięciu językach.
Dwa rozmiary, pięć języków i demonstracje
Phonon istnieje w dwóch rozmiarach, około 65 MB i 75 MB. Razem obie wersje mówią po angielsku, francusku, niemiecku, hiszpańsku i portugalsku. Zintegrowano ponad 100 głosów, a w Gradium Studio można tworzyć własne. Model obsługuje także numery telefonów, daty i kody, czyli elementy, z którymi wiele systemów TTS ma problemy. Działa na telefonach, laptopach, płytkach jednopłytkowych i w karcie przeglądarki.
Premierze towarzyszyły demonstracje przeprowadzone przez osoby z otoczenia zespołu i przez jego członków. Na Apple Watch bez Wi-Fi, Phonon krok po kroku prowadzi przez przygotowanie kawy. Na iPhonie bez sieci liczy powtórzenia ćwiczenia. Robot o nazwie Lamp, firmy Autonomous, noszący Tiarę Przydziału, mówi w swojej roli. W przeglądarce, gra z dinozaurem w trybie offline zamienia się w audycję radiową prowadzoną przez Rexa, a Proust jest czytany na głos, strona po stronie.
Niektórzy deweloperzy również zaczęli budować na Phononie. Konwersja ExecuTorch pozwala uruchomić go na GPU użytkownika w przeglądarce, platforma Micdrop integruje go z aplikacjami Node.js, a przestrzenie takie jak smallest-s2s na nim bazują. Model został pobrany ponad 200 000 razy w ciągu pierwszych dwóch tygodni.
Wyniki w rankingu Open TTS
Open TTS Leaderboard, bardzo świeży projekt Hugging Face, pozwala porównywać otwarte modele TTS, z ponad 9 000 zarejestrowanych w Hugging Face Hub. Modele są tam oceniane w 23 językach pod względem zrozumiałości, szybkości i naturalności głosu. Według tego rankingu, Phonon zajmuje pierwsze miejsce pod względem zrozumiałości w języku niemieckim i hiszpańskim, oraz znajduje się w pierwszej trójce we wszystkich ocenianych językach, obok modeli nawet 100 razy większych. Wyróżnia się szczególnie szybkością, plasując się na czele benchmarku streamingu CPU pod względem opóźnienia do pierwszej porcji dźwięku.
Aby uruchomić Phonon na dużej liczbie urządzeń, zespół opracował ptts, framework inferencyjny kompatybilny z ponad 10 backendami, w tym CPU, GPU i NPU. Phonon jest również dostępny w 🤗 Transformers od wersji 5.21, jako referencyjna implementacja PyTorch. Phonon jest pierwszą otwartą wersją tego zespołu.
