En un servicio al cliente, saber cuándo hablar y cuándo callarse es tan importante como el contenido de las respuestas. En un artículo de blog, ElevenLabs detalla cómo sus agentes vocales gestionan esta alternancia de turnos de palabra, o « turn taking », en la inteligencia artificial conversacional.
Los agentes deben encontrar un equilibrio delicado: callarse el tiempo suficiente para dejar hablar al interlocutor, sin esperar tanto que la latencia (el retraso en la respuesta) y los silencios incómodos perjudiquen la calidad del intercambio. Para ello, los modelos deben evaluar rápidamente la intención del habla, en lugar de basarse en temporizadores de silencio estrictos. ElevenLabs afirma que su arquitectura unificada analiza continuamente el tono, el ritmo y el contexto de las palabras.
Tres decisiones en cada intercambio
Según el artículo, un modelo conversacional sigue reglas que determinan el momento más apropiado para responder, conservar la palabra o escuchar. En el primer caso, el agente responde directamente: a una solicitud de saldo, indica « The account balance is $57.34. », es decir, « El saldo de la cuenta es de 57,34 $ ».
Para conservar la palabra, el modelo continúa hablando y señala que no ha terminado, incluso cuando hace una pausa. En el ejemplo dado, el agente anuncia el saldo, luego menciona un pago pendiente por el mismo monto, antes de preguntar si la persona que llama quiere saber cuándo se cargará ese pago sin recargos por demora. En el tercer caso, el agente guarda silencio mientras el cliente explica su situación. El ejemplo muestra a un cliente que confirma que su pago fue enviado hace varios días; el agente responde que normalmente se necesitan tres días para procesarlo y que no se aplicarán recargos por demora.
La documentación para desarrolladores a menudo habla de detección de turno o de « end-of-turn detection ». Los sistemas que combinan la detección de actividad vocal (VAD, que clasifica el audio en habla o silencio) con la comprensión del lenguaje para juzgar si el interlocutor ha terminado se describen como « semantic VAD ».
Una cadena de procesamiento en tiempo real
Según ElevenLabs, ElevenAgents procesa estas decisiones en tres etapas. La VAD clasifica el flujo de audio en habla o silencio varias decenas de veces por segundo, luego la detección de intención determina si el hablante realmente ha terminado o si simplemente hace una pausa. Indicaciones como una entonación descendente o una frase sintácticamente completa pueden confirmar el fin del turno, mientras que una entonación suspendida o vacilaciones como « umm… » señalan una pausa.
El retraso en la respuesta es un factor clave, ya que puede llevar a una persona que llama a abandonar la conversación. Según trabajos publicados en el Journal of Cognition, los intervalos entre turnos de palabra entre humanos son en promedio de unos 200 ms según las culturas. ElevenLabs indica que con Eleven v4 Turbo usado con ElevenAgents, el retraso mediano entre la solicitud y el habla audible es de 142 ms.
Interrupciones y errores comunes
Cuando una persona que llama realmente interrumpe, por ejemplo para corregir un detalle de cuenta, ElevenAgents envía, según la empresa, una señal de parada en menos de 200 ms, y el agente se interrumpe a mitad de frase. Sin embargo, los modelos deben distinguir estas interrupciones de los « backchannels », esas pequeñas señales de escucha como « I see » o « yeah », que no son tomas de palabra.
El artículo identifica tres fallos principales: una detección prematura del fin del turno, silencios demasiado largos y falsas detecciones relacionadas con el ruido o las palabras de asentimiento. Para abordarlos, ElevenLabs propone ajustar la « turn eagerness » en tres niveles: Eager, Normal (por defecto) y Patient, por ejemplo cuando la persona que llama deletrea un número de teléfono. El tiempo de espera también puede ajustarse, con, para el servicio al cliente, 5 a 10 segundos de silencio según el artículo, y 15 a 30 segundos para menciones legales.
Finalmente, los equipos de calidad siguen dos indicadores: la tasa de interrupción, que mide la frecuencia con la que el modelo interrumpe erróneamente a una persona que llama, y la latencia de respuesta. El artículo precisa que la VAD es solo un dato entre otros: la detección de turno añade el contexto, la intención y la prosodia.
