ElevenLabs publiceert een gids over de infrastructuur van stem-IA, dat wil zeggen de verzameling modellen, verbindingen en diensten die een agent in staat stellen een gesprek te beluisteren, te beslissen over het vervolg, in andere systemen te handelen en luidop te antwoorden. Volgens de gids voltrekt deze cyclus zich bij de belangrijkste aanbieders, waaronder ElevenLabs, in een fractie van een seconde. Een productieve stemagent steunt op negen lagen, van spraakherkenning tot supervisie.
- ElevenLabs beschrijft hoe een stemagent luistert, beslist en antwoordt in minder dan een seconde.
- Een productieve stemagent steunt op negen lagen, van spraakherkenning tot supervisie.
- Het antwoord begint al te klinken voordat het volledige antwoord van het model bestaat.
- Tools, MCP en RAG laten de agent in bedrijfssystemen handelen en kennis opzoeken.
Luisteren, beslissen, antwoorden
De werking volgt een keten: de audio wordt omgezet in tekst, een taalmodel (LLM, groot taalmodel) interpreteert de vraag en produceert een antwoord, waarna dat wordt omgezet in stem. De gids preciseert dat dit proces niet lineair verloopt. ElevenAgents begint te spreken zodra het « genoeg woorden en een komma » van het model ontvangt, zodat de audio begint voordat het volledige antwoord bestaat.
De spraakherkenning, of ASR, is de eerste laag. Voor ElevenLabs is de betrouwbaarheid ervan bepalend, want een fout plant zich voort naar alle volgende stappen. De gids citeert een voorbeeld uit zijn vertrouwenskader voor gezondheid: één verkeerd gehoorde lettergreep kan « hydroxyzine » veranderen in « hydralazine ». ElevenAgents gebruikt Scribe v2 Realtime, dat spraak in ongeveer 150 ms transcribert. Op de meertalige benchmark FLEURS, die 30 talen omvat, claimt ElevenLabs het laagste woordfoutenpercentage te hebben behaald onder de ASR-modellen met lage latentie. Op de medische benchmark Eka behaalt Scribe v2 Medical volgens het bedrijf een woordfoutenpercentage van 7,0%.
Het beheer van de spreekbeurten bepaalt wanneer de agent antwoordt en wanneer hij zwijgt. De gids herinnert eraan dat een interval van ongeveer 200 ms gebruikelijk is tussen twee menselijke gesprekspartners. ElevenAgents steunt op een propriëtair model dat toon, ritme en context van de woorden analyseert in plaats van op simpele stilte-timers. De mediane vertraging tussen de vraag en het eerste hoorbare woord bedraagt volgens ElevenLabs ongeveer 150 ms met Eleven v4 Turbo.
Voor de taalmodelen biedt ElevenAgents modellen van Google, OpenAI en Anthropic, evenals open modellen die door ElevenLabs worden gehost. Bij een storing schakelt een « cascade »-mechanisme over naar een back-upmodel na een standaardwachttijd van 4 seconden, instelbaar van 2 tot 15 seconden, met minimaal drie pogingen.
Handelen, dan meten
De tools en het MCP-protocol (Model Context Protocol, een open standaard die modellen toegang geeft tot externe tools) stellen de agent in staat een reserveringssysteem te raadplegen of een CRM bij te werken. De machtigingen zijn standaard uitgeschakeld in elke werkruimte, en de beheerder kiest een goedkeuringsmodus voor elke server. Wat kennis betreft, zoekt retrieval-augmented generation (RAG) de relevante passages in de bedrijfsdocumenten op voordat er wordt geantwoord. ElevenLabs geeft aan de mediane latentie van deze retrieval te hebben teruggebracht van 326 ms naar 155 ms.
De gids beschrijft ook de waarborgen, die van versie 2.0 die in september 2026 werd gepresenteerd, evenals de tests en de A/B-experimenten. ElevenAgents claimt meer dan 10 miljoen gesprekken per week. De gids citeert ook het geval van Meesho, dat ongeveer 90% van de supportaanvragen zou automatiseren, en dat van Tsjechië, waar agenten ongeveer 5.000 oproepen per dag zouden afhandelen op sociale hulplijnen, waarbij 85% van de aanvragen zonder menselijke tussenkomst wordt opgelost, volgens een door het bedrijf geciteerd rapport.
