Synteza mowy, czyli text to speech (TTS), przekształca pisany tekst w dźwięk mowy. Według artykułu ElevenLabs, system najpierw analizuje tekst, aby określić, jak należy wymówić każdy element, a następnie model sztucznej inteligencji generuje dźwięk.
- Synteza mowy zamienia pisany tekst w dźwięk w dwóch fazach.
- Frontend analizuje tekst, a backend tworzy fale dźwiękowe.
- Neuronowe silniki brzmią naturalniej niż dawne metody formantowa i konkatenacyjna.
- Słowniki wymowy i tagi IPA poprawiają wymowę nazw własnych i żargonu.
Jak działa synteza mowy
Proces przebiega w dwóch głównych fazach. Pierwsza, tzw. frontend, czyści tekst, dzieli go na tokeny (jednostki językowe, które mogą być słowem, częścią słowa lub znakiem interpunkcyjnym) i konwertuje na reprezentacje matematyczne, zwane wektorami, które system może przetwarzać. Druga, tzw. backend, przekształca te dane w fale dźwiękowe modelujące mowę.
Silnik musi także interpretować symbole. Czyta więc „$11″ jako „eleven dollars ». Ponadto musi zarządzać prozodią, czyli wysokością i rytmem głosu, które nadają mowie naturalny charakter. W tym celu opiera się na kontekście, zwłaszcza w przypadku homografów, czyli słów pisanych tak samo, ale nie zawsze wymawianych w ten sam sposób.
Artykuł śledzi zdanie „Mr. Ríos paid $11 on 10/06. » przez cały proces. Silnik rozwija „Mr. » na „Mister », odczytuje „$11″ jako „eleven dollars » i decyduje, czy „10/06″ oznacza „October sixth » czy „the tenth of June », w zależności od języka i kontekstu. Następnie kładzie akcent na „eleven dollars », dodaje krótką pauzę przed datą i obniża wysokość głosu na końcu zdania. Model akustyczny generuje wtedy mel-spektrogram, czyli reprezentację częstotliwości i energii dźwięku w czasie, który wokoder konwertuje na falę dźwiękową. Błąd na wcześniejszym etapie, np. błędnie odczytana data, pojawia się więc w końcowym dźwięku.
Dlaczego głos neuronowy wydaje się bardziej ludzki
Najnowsze silniki neuronowe wykorzystują głęboką sieć neuronową, trenowaną na dużych zbiorach nagrań mowy powiązanych z ich tekstem. Doskonale radzą sobie z generowaniem mowy naturalnej i zrozumiałej – dwóch kryteriów używanych przez inżynierów do oceny tych silników.
Zastępują one dwie poprzednie generacje technologii. Synteza formantowa, dominująca w latach 70. i 80. XX wieku, generowała dźwięki modelowane na podstawie reguł matematycznych. Była zrozumiała, ale monotonna i robotyczna. Synteza przez konkatenację, stosowana od lat 90. do około 2010 roku, składała małe próbki ludzkiego głosu wyodrębnione z dużego korpusu. Była bardziej naturalna, ale mogła wydawać się urywana.
Artykuł rozróżnia także syntezę mowy od „generatorów głosu AI » – terminu używanego w marketingu na szerszy zestaw technologii, obejmujący projektowanie głosu, klonowanie głosu i transfer stylu głosu. Synteza mowy stanowi jej część.
Zastosowania i kontrola wymowy
Syntezę mowy wykorzystuje się do narracji, głosu lektora, dubbingu, audiobooków i dialogów w grach wideo. Artykuł przytacza przypadek TAP, który użył ElevenLabs TTS do produkcji treści edukacyjnych dla szkół w Indiach. Służy także do poprawy dostępności, m.in. z czytnikami ekranu, wsparciem w czytaniu dla osób z dysleksją i nauką języków. W obsłudze klienta głosowi agenci łączą rozpoznawanie mowy, LLM (duży model językowy) i podłączone narzędzia. Według źródła, Klarna skróciła czas rozwiązania sprawy 10-krotnie dzięki ElevenAgents.
Aby poprawić błędy wymowy, zwłaszcza w przypadku nazw własnych lub żargonu, ElevenAPI oferuje słowniki wymowy w formacie PLS, które kojarzą zapis z fonemami, oraz tagi fonetyczne w zapisie IPA (międzynarodowy alfabet fonetyczny) bezpośrednio w tekście. Deweloperzy mogą także podłączyć swoją aplikację przez API, wysyłając tekst, identyfikator głosu i identyfikator modelu. Według artykułu opóźnienie można zmniejszyć do około 100 ms przed pierwszym dźwiękiem w przypadku asystentów konwersacyjnych.
