Spraaksynthese, of text to speech (TTS), zet geschreven tekst om in gesproken audio. Volgens het artikel van ElevenLabs analyseert het systeem eerst de tekst om te bepalen hoe elk element moet worden uitgesproken, waarna een kunstmatige intelligentiemodel het geluid genereert.
Hoe werkt spraaksynthese
Het proces verloopt in twee grote fasen. De eerste, de frontend, zuivert de tekst, verdeelt deze in tokens (taaleenheden, die een woord, een deel van een woord of een leesteken kunnen zijn) en zet deze om in wiskundige voorstellingen, vectoren genaamd, die het systeem kan manipuleren. De tweede, de backend, transformeert deze gegevens in golfvormen die spraak modelleren.
De motor moet ook symbolen interpreteren. Hij leest dus « $11 » als « eleven dollars ». Bovendien moet hij de prosodie beheren, dat wil zeggen de toonhoogte en het ritme van de stem, die de spraak zijn natuurlijke karakter geven. Hiervoor baseert hij zich op de context, met name voor de homografen, woorden die hetzelfde geschreven worden maar niet altijd hetzelfde worden uitgesproken.
Het artikel volgt een zin, « Mr. Ríos paid $11 on 10/06. », door het proces. De motor ontwikkelt « Mr. » tot « Mister », leest « $11 » als « eleven dollars » en beslist of « 10/06 » « October sixth » of « the tenth of June » betekent, afhankelijk van de taal en de context. Vervolgens legt hij de klemtoon op « eleven dollars », voegt een korte pauze toe voor de datum en laat de toonhoogte van de stem aan het einde van de zin dalen. Het akoestische model produceert dan een mel-spectrogram, een voorstelling van de frequenties en energie van het geluid in de tijd, dat de vocoder omzet in een audiogolf. Een fout stroomopwaarts, zoals een verkeerd gelezen datum, komt dus terug in het uiteindelijke geluid.
Waarom de neurale stem menselijker lijkt
De nieuwste neurale motoren gebruiken een diep neuraal netwerk, getraind op grote hoeveelheden spraakopnames gekoppeld aan hun tekst. Ze zijn uitstekend in het produceren van natuurlijke en verstaanbare spraak, twee criteria die ingenieurs gebruiken om deze motoren te evalueren.
Ze volgen op twee generaties technologieën. De formantensynthese, dominant in de jaren 1970 en 1980, genereerde geluiden gemodelleerd op basis van wiskundige regels. Ze was verstaanbaar, maar monotoon en robotachtig. De concatenatiesynthese, gebruikt van de jaren 1990 tot de jaren 2010, assembleerde kleine fragmenten van menselijke stem uit een uitgebreid corpus. Natuurlijker, maar kon toch hakkelig overkomen.
Het artikel onderscheidt verder spraaksynthese van « AI-stemgeneratoren », een marketingterm die een breder scala aan technologieën aanduidt, waaronder stemontwerp, stemklonen en stemstijloverdracht. Spraaksynthese maakt daar deel van uit.
Toepassingen en controle over de uitspraak
Spraaksynthese wordt gebruikt voor voice-overs, commentaarstemmen, nasynchronisatie, audioboeken en dialogen in videogames. Het artikel noemt het geval van TAP, dat ElevenLabs TTS gebruikte om educatieve inhoud te produceren voor scholen in India. Het wordt ook gebruikt voor toegankelijkheid, bijvoorbeeld met schermlezers, leeshulp voor mensen met dyslexie en taalverwerving. In klantenservice combineren stemagenten spraakherkenning, LLM’s (large language models) en verbonden tools. Volgens de bron heeft Klarna zijn oplossingstijd met 10x verminderd dankzij ElevenAgents.
Om uitspraakfouten te corrigeren, met name voor eigennamen of jargon, biedt de ElevenAPI uitspraakwoordenboeken in PLS-formaat, die spellingen koppelen aan fonemen, evenals fonetische tags in IPA-notatie (Internationaal Fonetisch Alfabet) direct in de tekst. Ontwikkelaars kunnen hun applicatie bovendien via een API verbinden, door een tekst, een stem-ID en een model-ID te sturen. Volgens het artikel kan de latentie worden teruggebracht tot ongeveer 100 ms voor het eerste geluid voor conversatieagenten.
