Dans un service client, savoir quand parler et quand se taire compte autant que le contenu des réponses. Dans un article de blog, ElevenLabs détaille comment ses agents vocaux gèrent cette alternance des tours de parole, ou « turn taking », dans l’intelligence artificielle conversationnelle.
- L’agent doit décider à chaque échange : répondre, garder la parole ou écouter.
- Il évalue l’intention de la parole plutôt que de se fier à des minuteurs de silence stricts.
- Un délai de réponse trop long peut faire abandonner l’appelant, alors l’agent doit répondre vite.
- Il doit distinguer les vraies interruptions des signes d’écoute comme « yeah ».
Les agents doivent trouver un équilibre délicat : se taire assez longtemps pour laisser l’interlocuteur parler, sans attendre si longtemps que la latence (le délai de réponse) et les silences gênants nuisent à la qualité de l’échange. Pour cela, les modèles doivent évaluer rapidement l’intention de la parole, plutôt que de s’appuyer sur des minuteurs de silence stricts. ElevenLabs affirme que son architecture unifiée analyse en continu le ton, le rythme et le contexte des mots.
Trois décisions à chaque échange
Selon l’article, un modèle conversationnel suit des règles qui déterminent le moment le plus approprié pour répondre, garder la parole ou écouter. Dans le premier cas, l’agent répond directement : à une demande de solde, il indique « The account balance is $57.34. », soit « Le solde du compte est de 57,34 $ ».
Pour garder la parole, le modèle continue à parler et signale qu’il n’a pas terminé, même lorsqu’il marque une pause. Dans l’exemple donné, l’agent annonce le solde, puis évoque un paiement en attente pour le même montant, avant de demander si l’appelant souhaite savoir quand ce paiement sera débité sans frais de retard. Dans le troisième cas, l’agent se tait pendant que le client explique sa situation. L’exemple montre un client qui confirme que son paiement a été envoyé il y a plusieurs jours ; l’agent répond qu’il faut habituellement trois jours pour le traiter et qu’aucuns frais de retard ne seront appliqués.
La documentation pour développeurs parle souvent de détection de tour ou de « end-of-turn detection ». Les systèmes qui combinent la détection d’activité vocale (VAD, qui classe l’audio en parole ou en silence) avec la compréhension du langage pour juger si l’interlocuteur a fini sont décrits comme du « semantic VAD ».
Une chaîne de traitement en temps réel
Selon ElevenLabs, ElevenAgents traite ces décisions en trois étapes. La VAD classe le flux audio en parole ou silence plusieurs dizaines de fois par seconde, puis la détection d’intention détermine si le locuteur a réellement fini ou s’il marque simplement une pause. Des indices comme une intonation descendante ou une phrase syntaxiquement complète peuvent confirmer la fin du tour, alors qu’une intonation suspendue ou des hésitations comme « umm… » signalent une pause.
Le délai de réponse est un facteur clé, car il peut pousser un appelant à abandonner la conversation. Selon des travaux publiés dans le Journal of Cognition, les écarts entre les tours de parole entre humains sont en moyenne d’environ 200 ms selon les cultures. ElevenLabs indique qu’avec Eleven v4 Turbo utilisé avec ElevenAgents, le délai médian entre la requête et la parole audible est de 142 ms.
Interruptions et erreurs courantes
Lorsqu’un appelant coupe réellement la parole, par exemple pour corriger un détail de compte, ElevenAgents envoie, d’après l’entreprise, un signal d’arrêt en moins de 200 ms, et l’agent s’interrompt au milieu de sa phrase. Les modèles doivent cependant distinguer ces interruptions des « backchannels », ces petits signes d’écoute comme « I see » ou « yeah », qui ne sont pas des prises de parole.
L’article identifie trois principales défaillances : une détection prématurée de la fin du tour, des silences trop longs et de fausses détections liées au bruit ou aux mots d’acquiescement. Pour y répondre, ElevenLabs propose de régler la « turn eagerness » sur trois niveaux : Eager, Normal (par défaut) et Patient, par exemple lorsque l’appelant épelle un numéro de téléphone. Le temps d’attente peut aussi être ajusté, avec, pour le service client, 5 à 10 secondes de silence selon l’article, et 15 à 30 secondes pour des mentions légales.
Enfin, les équipes qualité suivent deux indicateurs : le taux d’interruption, qui mesure la fréquence à laquelle le modèle coupe à tort un appelant, et la latence de réponse. L’article précise que la VAD n’est qu’une donnée parmi d’autres : la détection de tour y ajoute le contexte, l’intention et la prosodie.
