W obsłudze klienta umiejętność rozpoznania, kiedy mówić, a kiedy milczeć, jest tak samo ważna jak treść odpowiedzi. W artykule na blogu ElevenLabs szczegółowo opisuje, jak jego głosowi agenci zarządzają tą wymianą głosu, czyli « turn taking », w konwersacyjnej sztucznej inteligencji.
- Agenci muszą szybko decydować, kiedy mówić, a kiedy słuchać.
- Model ocenia intencję rozmówcy, zamiast polegać na sztywnych minutnikach ciszy.
- System łączy wykrywanie aktywności głosowej z analizą języka, by odróżnić koniec wypowiedzi od pauzy.
- Zespoły mierzą wskaźnik przerwań i opóźnienie, a parametr „turn eagerness” pozwala dostroić zachowanie agenta.
Agenci muszą znaleźć delikatną równowagę: milczeć wystarczająco długo, aby rozmówca mógł się wypowiedzieć, ale nie czekać tak długo, by opóźnienie (czas odpowiedzi) i niezręczne cisze pogorszyły jakość wymiany. W tym celu modele muszą szybko oceniać intencję wypowiedzi, zamiast polegać na sztywnych minutnikach ciszy. ElevenLabs twierdzi, że jego ujednolicona architektura stale analizuje ton, rytm i kontekst słów.
Trzy decyzje w każdej wymianie
Według artykułu, model konwersacyjny stosuje reguły określające najbardziej odpowiedni moment, aby odpowiedzieć, zachować głos lub słuchać. W pierwszym przypadku agent odpowiada bezpośrednio: na prośbę o saldo podaje « The account balance is $57.34. », czyli « Saldo konta wynosi 57,34 $ ».
Aby zachować głos, model kontynuuje mówienie i sygnalizuje, że nie zakończył, nawet gdy robi pauzę. W podanym przykładzie agent podaje saldo, następnie wspomina o oczekującej płatności na tę samą kwotę, po czym pyta, czy rozmówca chce wiedzieć, kiedy ta płatność zostanie obciążona bez opóźnienia i opłat. W trzecim przypadku agent milczy, gdy klient wyjaśnia swoją sytuację. Przykład pokazuje klienta potwierdzającego, że jego płatność została wysłana kilka dni temu; agent odpowiada, że przetworzenie zazwyczaj zajmuje trzy dni i że nie zostaną naliczone żadne opłaty za opóźnienie.
Dokumentacja dla programistów często mówi o wykrywaniu przejęcia głosu lub « end-of-turn detection ». Systemy łączące wykrywanie aktywności głosowej (VAD, które klasyfikuje dźwięk na mowę lub ciszę) ze zrozumieniem języka, aby ocenić, czy rozmówca skończył, są opisywane jako « semantic VAD ».
Łańcuch przetwarzania w czasie rzeczywistym
Według ElevenLabs, ElevenAgents przetwarza te decyzje w trzech etapach. VAD klasyfikuje strumień audio na mowę lub ciszę kilkadziesiąt razy na sekundę, następnie wykrywanie intencji określa, czy mówca rzeczywiście skończył, czy tylko robi pauzę. Wskazówki takie jak opadająca intonacja lub składniowo kompletne zdanie mogą potwierdzić koniec wypowiedzi, podczas gdy zawieszona intonacja lub wahania jak « umm… » sygnalizują pauzę.
Czas odpowiedzi jest kluczowym czynnikiem, ponieważ może skłonić rozmówcę do porzucenia konwersacji. Według badań opublikowanych w Journal of Cognition, odstępy między przejęciami głosu u ludzi wynoszą średnio około 200 ms w zależności od kultury. ElevenLabs wskazuje, że przy użyciu Eleven v4 Turbo z ElevenAgents, medianowe opóźnienie między zapytaniem a słyszalną mową wynosi 142 ms.
Przerwania i typowe błędy
Kiedy rozmówca rzeczywiście przerywa, na przykład aby poprawić szczegół dotyczący konta, ElevenAgents wysyła, według firmy, sygnał zatrzymania w czasie krótszym niż 200 ms, a agent przerywa w połowie zdania. Modele muszą jednak odróżniać te przerwania od « backchannels », czyli drobnych sygnałów słuchania jak « I see » czy « yeah », które nie są przejęciem głosu.
Artykuł identyfikuje trzy główne usterki: przedwczesne wykrycie końca wypowiedzi, zbyt długie cisze oraz fałszywe detekcje związane z hałasem lub słowami potakującymi. W odpowiedzi ElevenLabs proponuje regulację parametru « turn eagerness » na trzech poziomach: Eager, Normal (domyślny) i Patient, na przykład gdy rozmówca literuje numer telefonu. Czas oczekiwania również można dostosować, przy czym dla obsługi klienta, według artykułu, jest to 5 do 10 sekund ciszy, a dla komunikatów prawnych 15 do 30 sekund.
Wreszcie, zespoły ds. jakości monitorują dwa wskaźniki: wskaźnik przerwania, który mierzy częstotliwość błędnego przerywania rozmówcy przez model, oraz opóźnienie odpowiedzi. Artykuł precyzuje, że VAD to tylko jeden z elementów danych: wykrywanie przejęcia głosu dodaje do tego kontekst, intencję i prozodię.
