Num serviço de apoio ao cliente, saber quando falar e quando calar é tão importante como o conteúdo das respostas. Num artigo de blog, a ElevenLabs detalha como os seus agentes vocais gerem esta alternância de turnos de fala, ou « turn taking », na inteligência artificial conversacional.
- Os agentes vocais decidem quando respondem, mantêm a palavra ou ouvem.
- Os modelos avaliam a intenção do interlocutor em vez de usar temporizadores de silêncio rígidos.
- O atraso mediano chega a 142 ms, e uma interrupção real faz o agente parar em menos de 200 ms.
- Os modelos devem distinguir interrupções reais dos backchannels e ajustar a «turn eagerness».
Os agentes têm de encontrar um equilíbrio delicado: calar-se tempo suficiente para deixar o interlocutor falar, sem esperar tanto que a latência (o atraso na resposta) e os silêncios constrangedores prejudiquem a qualidade da troca. Para isso, os modelos têm de avaliar rapidamente a intenção da fala, em vez de se basearem em temporizadores de silêncio rígidos. A ElevenLabs afirma que a sua arquitetura unificada analisa continuamente o tom, o ritmo e o contexto das palavras.
Três decisões em cada troca
Segundo o artigo, um modelo conversacional segue regras que determinam o momento mais apropriado para responder, manter a palavra ou ouvir. No primeiro caso, o agente responde diretamente: a um pedido de saldo, indica « The account balance is $57.34. », ou seja, « O saldo da conta é de 57,34 $ ».
Para manter a palavra, o modelo continua a falar e sinaliza que não terminou, mesmo quando faz uma pausa. No exemplo dado, o agente anuncia o saldo, depois menciona um pagamento pendente pelo mesmo valor, antes de perguntar se o interlocutor quer saber quando esse pagamento será debitado sem custos de atraso. No terceiro caso, o agente cala-se enquanto o cliente explica a sua situação. O exemplo mostra um cliente que confirma que o seu pagamento foi enviado há vários dias; o agente responde que normalmente são necessários três dias para o processar e que não serão aplicadas quaisquer taxas de atraso.
A documentação para programadores fala frequentemente de deteção de turno ou de « end-of-turn detection ». Os sistemas que combinam a deteção de atividade vocal (VAD, que classifica o áudio em fala ou silêncio) com a compreensão da linguagem para avaliar se o interlocutor terminou são descritos como « semantic VAD ».
Uma cadeia de processamento em tempo real
Segundo a ElevenLabs, o ElevenAgents processa estas decisões em três etapas. A VAD classifica o fluxo de áudio em fala ou silêncio várias dezenas de vezes por segundo, depois a deteção de intenção determina se o locutor terminou realmente ou se está apenas a fazer uma pausa. Indícios como uma entoação descendente ou uma frase sintaticamente completa podem confirmar o fim do turno, enquanto uma entoação suspensa ou hesitações como « umm… » sinalizam uma pausa.
O atraso na resposta é um fator chave, pois pode levar um interlocutor a abandonar a conversa. Segundo trabalhos publicados no Journal of Cognition, os intervalos entre turnos de fala entre humanos são em média de cerca de 200 ms consoante as culturas. A ElevenLabs indica que, com o Eleven v4 Turbo usado com o ElevenAgents, o atraso mediano entre o pedido e a fala audível é de 142 ms.
Interrupções e erros comuns
Quando um interlocutor corta realmente a palavra, por exemplo para corrigir um detalhe da conta, o ElevenAgents envia, segundo a empresa, um sinal de paragem em menos de 200 ms, e o agente interrompe-se a meio da frase. Os modelos têm, no entanto, de distinguir estas interrupções dos « backchannels », esses pequenos sinais de escuta como « I see » ou « yeah », que não são tomadas de palavra.
O artigo identifica três falhas principais: uma deteção prematura do fim do turno, silêncios demasiado longos e falsas deteções relacionadas com ruído ou palavras de aquiescência. Para responder a isto, a ElevenLabs propõe ajustar a « turn eagerness » em três níveis: Eager, Normal (predefinição) e Patient, por exemplo quando o interlocutor soletra um número de telefone. O tempo de espera também pode ser ajustado, sendo, para o serviço de apoio ao cliente, 5 a 10 segundos de silêncio segundo o artigo, e 15 a 30 segundos para menções legais.
Por fim, as equipas de qualidade seguem dois indicadores: a taxa de interrupção, que mede a frequência com que o modelo corta indevidamente um interlocutor, e a latência de resposta. O artigo especifica que a VAD é apenas um dado entre outros: a deteção de turno acrescenta-lhe o contexto, a intenção e a prosódia.
