In een klantenservice is weten wanneer je moet spreken en wanneer je moet zwijgen even belangrijk als de inhoud van de antwoorden. In een blogartikel legt ElevenLabs uit hoe zijn stemagenten deze beurtwisseling, of ‘turn taking’, beheren in conversationele kunstmatige intelligentie.
De agenten moeten een delicate balans vinden: lang genoeg zwijgen om de gesprekspartner te laten spreken, maar niet zo lang wachten dat de latentie (de reactietijd) en ongemakkelijke stiltes de kwaliteit van de uitwisseling schaden. Daarvoor moeten modellen snel de spreekintentie inschatten, in plaats van te vertrouwen op strikte stilte-timers. ElevenLabs beweert dat zijn geünificeerde architectuur continu de toon, het ritme en de context van de woorden analyseert.
Drie beslissingen bij elke uitwisseling
Volgens het artikel volgt een conversationeel model regels die het meest geschikte moment bepalen om te antwoorden, het woord te houden of te luisteren. In het eerste geval antwoordt de agent direct: op een vraag naar het saldo geeft hij aan « The account balance is $57.34. », oftewel « Het saldo van de rekening is $57,34 ».
Om het woord te houden, blijft het model spreken en geeft het aan dat het nog niet klaar is, zelfs als het pauzeert. In het gegeven voorbeeld kondigt de agent het saldo aan, noemt dan een in behandeling zijnde betaling voor hetzelfde bedrag, en vraagt vervolgens of de beller wil weten wanneer deze betaling zonder te late kosten zal worden afgeschreven. In het derde geval zwijgt de agent terwijl de klant zijn situatie uitlegt. Het voorbeeld toont een klant die bevestigt dat zijn betaling enkele dagen geleden is verzonden; de agent antwoordt dat het meestal drie dagen duurt om te verwerken en dat er geen te late kosten in rekening worden gebracht.
De documentatie voor ontwikkelaars spreekt vaak over beurtdetectie of ‘end-of-turn detection’. Systemen die spraakactiviteitsdetectie (VAD, die audio classificeert als spraak of stilte) combineren met taalbegrip om te beoordelen of de gesprekspartner klaar is, worden omschreven als ‘semantic VAD’.
Een real-time verwerkingsketen
Volgens ElevenLabs verwerkt ElevenAgents deze beslissingen in drie stappen. De VAD classificeert de audiostroom tientallen keren per seconde als spraak of stilte, waarna intentiedetectie bepaalt of de spreker echt klaar is of gewoon pauzeert. Aanwijzingen zoals een dalende intonatie of een syntactisch complete zin kunnen het einde van de beurt bevestigen, terwijl een zwevende intonatie of aarzelingen zoals ‘umm…’ een pauze signaleren.
De reactietijd is een cruciale factor, omdat deze een beller ertoe kan aanzetten het gesprek te verlaten. Volgens onderzoek gepubliceerd in het Journal of Cognition zijn de tussenpozen tussen beurten bij mensen gemiddeld ongeveer 200 ms, afhankelijk van de cultuur. ElevenLabs geeft aan dat met Eleven v4 Turbo gebruikt met ElevenAgents, de mediane vertraging tussen de vraag en de hoorbare spraak 142 ms is.
Onderbrekingen en veelvoorkomende fouten
Wanneer een beller echt het woord neemt, bijvoorbeeld om een rekeningdetail te corrigeren, stuurt ElevenAgents volgens het bedrijf binnen 200 ms een stop-signaal, en de agent onderbreekt zichzelf midden in een zin. De modellen moeten echter deze onderbrekingen onderscheiden van ‘backchannels’, die kleine luistersignalen zijn zoals ‘I see’ of ‘yeah’, en geen woordvoering zijn.
Het artikel identificeert drie belangrijke tekortkomingen: voortijdige detectie van het einde van de beurt, te lange stiltes en valse detecties door ruis of instemmende woorden. Om hierop te reageren, stelt ElevenLabs voor om de ‘turn eagerness’ op drie niveaus in te stellen: Eager, Normal (standaard) en Patient, bijvoorbeeld wanneer de beller een telefoonnummer spelt. De wachttijd kan ook worden aangepast, met voor de klantenservice volgens het artikel 5 tot 10 seconden stilte, en 15 tot 30 seconden voor juridische mededelingen.
Ten slotte volgen kwaliteitsteams twee indicatoren: het onderbrekingspercentage, dat meet hoe vaak het model ten onrechte een beller onderbreekt, en de reactielatentie. Het artikel preciseert dat VAD slechts één gegeven is onder vele: beurtdetectie voegt daar context, intentie en prosodie aan toe.
