Phonon, een klein spraaksynthesemodel (TTS, voor text-to-speech), is zojuist openbaar gemaakt. Het werkt rechtstreeks op het apparaat van de gebruiker, zonder server of netwerkverbinding, en ingevoerde teksten blijven op het apparaat.
- Phonon draait lokaal op het apparaat en heeft geen server of netwerk nodig.
- Het model is gratis te gebruiken, ook commercieel, onder de Apache 2.0-licentie.
- Het spreekt vijf talen en leest telefoonnummers, data en codes correct voor.
- Volgens de Open TTS Leaderboard staat het bovenaan voor verstaanbaarheid in het Duits en Spaans en voor snelheid.
Een stem die op het apparaat leeft
De meeste spraak-IA’s werken in de cloud, waarbij elke zin heen en weer naar een server gaat. Phonon draait daarentegen lokaal, en de stem blijft beschikbaar zonder netwerk. De gewichten van het model zijn ook gepubliceerd. Phonon 31m valt onder de Apache 2.0-licentie, wat gratis gebruik mogelijk maakt, ook in een commercieel product. De andere modellen vallen onder de CC BY-NC-licentie, gratis voor niet-commerciële projecten. Voor commercieel gebruik hiervan hangt de prijsstelling af van het aantal gebruikers, en niet van het volume gegenereerde spraak.
Het draaien van een hoogwaardige stem op een klein apparaat was lang moeilijk: een kleiner model klonk minder goed, terwijl een beter presterend model niet op het apparaat paste. Phonon voldoet aan beide beperkingen tegelijk. Het project, aangekondigd in april, werd vervolgens zes maanden ontwikkeld met partners en eerste gebruikers, wiens feedback deze versie heeft gestuurd. De modellen zijn verkleind, er zijn meer talen toegevoegd en ondersteuning voor gepersonaliseerde stemmen, via klonen of creatie, is geïntegreerd.
Phonon bouwt voort op de lijn van Pocket TTS en gebruikt flow matching, een techniek voor audiogeneratie die sterk verschilt van die in andere TTS-systemen. Dit maakte dit kwaliteitsniveau mogelijk op zo’n klein model, maar zorgde voor trainingsproblemen: de training was aanvankelijk numeriek instabiel en vereiste verschillende trucs om kwaliteitsresultaten te produceren in de vijf talen.
Twee formaten, vijf talen en demonstraties
Phonon bestaat in twee formaten, van ongeveer 65 MB en 75 MB. Samen spreken de twee versies Engels, Frans, Duits, Spaans en Portugees. Meer dan 100 stemmen zijn geïntegreerd, en het is mogelijk om eigen stemmen te creëren in Gradium Studio. Het model verwerkt ook telefoonnummers, data en codes, elementen die veel TTS-systemen moeilijk correct kunnen lezen. Het werkt op telefoons, laptops, single-board computers en in een browsertabblad.
De lancering ging gepaard met demonstraties, uitgevoerd door naasten van het team en door eigen teamleden. Op een Apple Watch zonder Wi-Fi begeleidt Phonon stap voor stap de bereiding van een kop koffie. Op een iPhone zonder netwerk telt het de herhalingen van een oefening. Een robot genaamd Lamp, van het bedrijf Autonomous, draagt een sorteerhoed en spreekt in zijn personage. In een browser wordt een offline dinosaurusspel een radioprogramma gepresenteerd door Rex, en wordt Proust hardop voorgelezen, pagina na pagina.
Ontwikkelaars zijn ook begonnen met bouwen op Phonon. Een ExecuTorch-conversie maakt het mogelijk om het te draaien op de GPU van een bezoeker in de browser, het platform Micdrop integreert het in Node.js-applicaties, en Spaces zoals smallest-s2s bouwen erop voort. Het model is meer dan 200.000 keer gedownload tijdens zijn eerste twee weken.
Resultaten op de Open TTS-ranglijst
De Open TTS Leaderboard, een zeer recent project van Hugging Face, maakt het mogelijk om open TTS-modellen te vergelijken, waarbij meer dan 9.000 zijn geregistreerd op de Hugging Face Hub. Modellen worden daar geëvalueerd op 23 talen, op basis van verstaanbaarheid, snelheid en natuurlijkheid van de stem. Volgens deze ranglijst staat Phonon op de eerste plaats voor verstaanbaarheid in het Duits en Spaans, en in de top drie in alle geëvalueerde talen, naast modellen tot 100 keer groter. Het onderscheidt zich vooral in snelheid, aangezien het bovenaan de CPU-streaming benchmark staat voor de latentie tot de eerste audio-uitvoer.
Om Phonon op een groot aantal apparaten te laten werken, heeft het team ptts ontwikkeld, een inferentiekader compatibel met meer dan 10 backends, waaronder CPU, GPU en NPU. Phonon is ook beschikbaar in 🤗 Transformers vanaf versie 5.21, als referentie-implementatie in PyTorch. Phonon is de eerste open versie van dit team.
