Die Sprachsynthese, oder Text-to-Speech (TTS), wandelt geschriebenen Text in gesprochenes Audio um. Laut dem Artikel von ElevenLabs analysiert das System zunächst den Text, um zu bestimmen, wie jedes Element ausgesprochen werden soll, und erzeugt dann ein KI-Modell den Ton.
- Sprachsynthese wandelt geschriebenen Text in gesprochenes Audio um.
- Das System analysiert den Text, interpretiert Symbole und steuert Betonung sowie Rhythmus.
- Neuronale Netzwerke erzeugen heute natürlichere Stimmen als frühere Verfahren.
- Anwendungen reichen von Hörbüchern bis zur Barrierefreiheit und zum Kundensupport.
Wie funktioniert die Sprachsynthese
Der Prozess läuft in zwei großen Phasen ab. Die erste, das sogenannte Frontend, bereinigt den Text, zerlegt ihn in Tokens (Spracheinheiten, die ein Wort, ein Wortteil oder ein Satzzeichen sein können) und wandelt ihn in mathematische Darstellungen, sogenannte Vektoren, um, die das System verarbeiten kann. Die zweite, das sogenannte Backend, wandelt diese Daten in Wellenformen um, die Sprache modellieren.
Die Engine muss auch Symbole interpretieren. Sie liest also „$11″ als „eleven dollars ». Zudem muss sie die Prosodie handhaben, also Tonhöhe und Rhythmus der Stimme, die der Sprache ihren natürlichen Charakter verleihen. Dafür stützt sie sich auf den Kontext, insbesondere bei Homographen, Wörtern, die gleich geschrieben, aber nicht immer gleich ausgesprochen werden.
Der Artikel verfolgt einen Satz, „Mr. Ríos paid $11 on 10/06. », durch den Prozess. Die Engine entwickelt „Mr. » zu „Mister », liest „$11″ als „eleven dollars » und entscheidet, ob „10/06″ „October sixth » oder „the tenth of June » bedeutet, je nach Sprache und Kontext. Sie setzt dann die Betonung auf „eleven dollars », fügt vor dem Datum eine kurze Pause ein und lässt die Tonhöhe am Satzende absinken. Das akustische Modell erzeugt dann ein Mel-Spektrogramm, eine Darstellung der Frequenzen und der Energie des Klangs über die Zeit, das der Vocoder in eine Audio-Welle umwandelt. Ein Fehler weiter oben, wie ein falsch gelesenes Datum, findet sich somit im finalen Ton wieder.
Warum neuronale Stimmen menschlicher klingen
Die neuesten neuronalen Engines verwenden ein tiefes neuronales Netzwerk, das mit großen Mengen an Sprachaufnahmen und deren zugehörigen Texten trainiert wurde. Sie sind hervorragend darin, natürliche und verständliche Sprache zu erzeugen, zwei Kriterien, die Ingenieure zur Bewertung dieser Engines nutzen.
Sie lösen zwei Technologiegenerationen ab. Die formantbasierte Synthese, die in den 1970er und 1980er Jahren dominierte, erzeugte Klänge, die auf mathematischen Regeln basierten. Sie war verständlich, aber monoton und roboterhaft. Die Konkatenationssynthese, die von den 1990ern bis in die 2010er Jahre verwendet wurde, setzte kleine Ausschnitte menschlicher Stimme aus einem großen Korpus zusammen. Sie war natürlicher, konnte aber abgehackt wirken.
Der Artikel unterscheidet zudem zwischen Sprachsynthese und „KI-Stimmengeneratoren », einem Marketingbegriff für eine breitere Palette von Technologien, die Stimmendesign, Stimmklonen und Stiltransfer umfassen. Die Sprachsynthese ist ein Teil davon.
Anwendungen und Kontrolle der Aussprache
Sprachsynthese wird für Erzählungen, Voice-Over, Synchronisation, Hörbücher und Videospieldialoge eingesetzt. Der Artikel nennt den Fall von TAP, das ElevenLabs TTS zur Produktion von Bildungsinhalten für Schulen in Indien verwendete. Sie dient auch der Barrierefreiheit, insbesondere bei Screenreadern, Lesehilfen für Menschen mit Dyslexie und Sprachlernen. Im Kundensupport kombinieren Sprachagenten Spracherkennung, LLM (Large Language Model) und angeschlossene Tools. Laut der Quelle hat Klarna seine Lösungszeit dank ElevenAgents um das 10-fache reduziert.
Um Aussprachefehler, insbesondere bei Eigennamen oder Fachjargon, zu korrigieren, bietet die ElevenAPI PLS-formatierte Aussprachewörterbücher, die Schreibweisen Phonemen zuordnen, sowie phonetische Tags in IPA-Notation (Internationales Phonetisches Alphabet) direkt im Text an. Entwickler können ihre Anwendung zudem über eine API anbinden, indem sie einen Text, eine Stimmen-ID und eine Modell-ID senden. Laut dem Artikel kann die Latenz für Konversationsagenten auf etwa 100 ms vor dem ersten Ton reduziert werden.
