In einem Kundenservice zählt es genauso viel zu wissen, wann man sprechen und wann man schweigen soll, wie der Inhalt der Antworten. In einem Blogartikel erläutert ElevenLabs, wie seine Sprachagenten diesen Sprecherwechsel oder « Turn Taking » in der konversationellen künstlichen Intelligenz handhaben.
Die Agenten müssen eine heikle Balance finden: lange genug schweigen, um den Gesprächspartner sprechen zu lassen, aber nicht so lange warten, dass die Latenz (die Antwortverzögerung) und peinliche Stille den Austausch beeinträchtigen. Dafür müssen Modelle schnell die Sprechabsicht einschätzen, anstatt sich auf starre Stille-Timer zu verlassen. ElevenLabs behauptet, dass seine einheitliche Architektur kontinuierlich Tonfall, Rhythmus und Wortkontext analysiert.
Drei Entscheidungen bei jedem Austausch
Laut Artikel folgt ein Konversationsmodell Regeln, die den passendsten Zeitpunkt bestimmen, um zu antworten, das Wort zu behalten oder zuzuhören. Im ersten Fall antwortet der Agent direkt: Auf eine Kontostandsanfrage gibt er an « The account balance is $57.34. », also « Der Kontostand beträgt 57,34 $ ».
Um das Wort zu behalten, spricht das Modell weiter und signalisiert, dass es noch nicht fertig ist, selbst wenn es eine Pause macht. Im gegebenen Beispiel teilt der Agent den Kontostand mit, erwähnt dann eine ausstehende Zahlung in gleicher Höhe und fragt, ob der Anrufer wissen möchte, wann diese Zahlung ohne Verspätungsgebühren abgebucht wird. Im dritten Fall schweigt der Agent, während der Kunde seine Situation erklärt. Das Beispiel zeigt einen Kunden, der bestätigt, dass seine Zahlung vor einigen Tagen gesendet wurde; der Agent antwortet, dass die Bearbeitung normalerweise drei Tage dauert und keine Verspätungsgebühren anfallen.
Die Dokumentation für Entwickler spricht oft von Turn-Detektion oder « End-of-Turn Detection ». Systeme, die Spracherkennung (VAD, die Audio in Sprache oder Stille einteilt) mit Sprachverständnis kombinieren, um zu beurteilen, ob der Gesprächspartner fertig ist, werden als « semantic VAD » beschrieben.
Eine Echtzeit-Verarbeitungskette
Laut ElevenLabs verarbeitet ElevenAgents diese Entscheidungen in drei Schritten. Die VAD klassifiziert den Audiofluss mehrmals pro Sekunde in Sprache oder Stille, dann bestimmt die Absichtserkennung, ob der Sprecher wirklich fertig ist oder nur eine Pause macht. Hinweise wie eine fallende Intonation oder ein syntaktisch vollständiger Satz können das Ende des Sprecherwechsels bestätigen, während eine schwebende Intonation oder Zögern wie « ähm… » auf eine Pause hindeuten.
Die Antwortverzögerung ist ein Schlüsselfaktor, da sie einen Anrufer dazu bringen kann, das Gespräch abzubrechen. Laut einer im Journal of Cognition veröffentlichten Arbeit betragen die Pausen zwischen Sprecherwechseln bei Menschen im Durchschnitt etwa 200 ms, je nach Kultur. ElevenLabs gibt an, dass bei Verwendung von Eleven v4 Turbo mit ElevenAgents die mediane Verzögerung zwischen Anfrage und hörbarer Sprache 142 ms beträgt.
Unterbrechungen und häufige Fehler
Wenn ein Anrufer tatsächlich das Wort ergreift, zum Beispiel um eine Kontodetailkorrektur vorzunehmen, sendet ElevenAgents laut Unternehmen ein Stoppsignal in weniger als 200 ms, und der Agent bricht mitten im Satz ab. Die Modelle müssen jedoch solche Unterbrechungen von « Backchannels » unterscheiden, diesen kleinen Zuhörsignalen wie « I see » oder « yeah », die keine Wortmeldungen sind.
Der Artikel identifiziert drei Hauptfehlerquellen: eine vorzeitige Erkennung des Sprecherwechselendes, zu lange Stille und falsche Erkennungen aufgrund von Lärm oder Bestätigungswörtern. Um dem zu begegnen, bietet ElevenLabs an, die « Turn Eagerness » auf drei Stufen einzustellen: Eager, Normal (Standard) und Patient, zum Beispiel wenn ein Anrufer eine Telefonnummer buchstabiert. Die Wartezeit kann ebenfalls angepasst werden, mit 5 bis 10 Sekunden Stille im Kundenservice laut Artikel und 15 bis 30 Sekunden für rechtliche Hinweise.
Schließlich verfolgen Qualitätsteams zwei Kennzahlen: die Unterbrechungsrate, die misst, wie oft das Modell einen Anrufer fälschlicherweise unterbricht, und die Antwortlatenz. Der Artikel präzisiert, dass VAD nur eine von vielen Datenquellen ist: Die Turn-Detektion fügt Kontext, Absicht und Prosodie hinzu.
