Un assistant vocal fondé sur l’intelligence artificielle peut traiter une demande de remboursement par téléphone, sans agent humain. Selon le guide publié par ElevenLabs, ces assistants, qui associent reconnaissance vocale, modèle de langage et synthèse vocale, se multiplient dans les services clients des entreprises. Le document détaille les étapes pour en construire un.
- Un assistant vocal IA combine reconnaissance vocale, modèle de langage et synthèse vocale.
- Le guide conseille de valider le cas d’usage dans ElevenAgents, puis de coder seulement les couches qui exigent plus de contrôle.
- Il recommande une latence sous 500 ms, une confirmation verbale pour les opérations sensibles et le RAG pour limiter les hallucinations.
- Il prévoit un transfert vers un humain avec la transcription, puis un suivi des taux de résolution et d’escalade.
Concrètement, un assistant vocal IA est un logiciel qui comprend la parole et permet à l’utilisateur d’agir sur des systèmes connectés. Il combine trois briques : la reconnaissance vocale (speech to text), un grand modèle de langage (LLM, capable de raisonner sur un texte) et la synthèse vocale (text to speech). Au-delà de la transcription, il peut lancer une application, récupérer des données ou piloter des machines. Les assistants grand public comme Siri, Alexa ou Google Assistant répondent surtout à des commandes simples, tandis que des organisations en développent pour des processus plus complexes. Le guide cite l’assureur Admiral, qui a conçu un assistant vocal destiné à des millions de clients, capable de répondre aux questions, de consulter des documents et de décharger les agents humains des tâches répétitives.
Définir la mission et choisir ses outils
Avant d’écrire la moindre ligne de code, le guide recommande de définir la mission de l’agent, de consulter des experts du domaine sur les difficultés des utilisateurs et de fixer des indicateurs mesurables. Pour un processus de vente, par exemple, l’agent doit savoir poser des questions de présélection. Selon le document, l’agent SDR (prospection commerciale) d’ElevenLabs, nommé Dom, a atteint une précision de qualification de 92 %.
Le développeur doit ensuite choisir entre deux voies. Les API brutes, accessibles via ElevenAPI, offrent un contrôle total sur le modèle de langage, l’orchestration, la téléphonie et la supervision, mais demandent de tout construire et maintenir. La plateforme managée ElevenAgents regroupe modèles, outils, base de connaissances et connecteurs vers des services comme Salesforce, Zendesk ou HubSpot, avec des fonctions de test et d’analyse. Le guide suggère de valider d’abord le cas d’usage dans ElevenAgents, puis de n’écrire du code que pour les couches qui exigent davantage de contrôle.
Latence, interruptions et vérification
Le délai de réponse est un point central. Le guide recommande de rester sous 500 ms d’aller-retour, et indique qu’un agent mettant plus de 700 ms à répondre paraîtra peu naturel. Selon ElevenLabs, son modèle Scribe v2 Realtime transcrit la parole en moins de 150 ms, hors réseau et temps applicatif, et son modèle de synthèse v4 Turbo affiche une latence d’environ 100 ms, pour la seule inférence. La détection de fin de parole (VAD) repose, selon le document, sur des algorithmes d’apprentissage profond plutôt que sur la seule durée de silence.
Pour les opérations sensibles, le guide prévoit une confirmation verbale explicite. Si un client veut annuler une commande, l’agent doit demander : « Êtes-vous sûr de vouloir annuler la commande ? », puis attendre la réponse. L’identité de l’appelant doit aussi être vérifiée, en croisant son numéro avec une fiche client et une question dont seul le titulaire du compte connaît la réponse, validée par un outil et non par le modèle de langage. Pour limiter les hallucinations, c’est-à-dire les réponses plausibles mais inexactes, le guide recommande un système de génération augmentée par récupération (RAG), qui relie le modèle à la base documentaire de l’entreprise. Enfin, lorsque la conversation devient tendue ou dépasse les capacités de l’agent, celui-ci peut transférer l’appel à un humain avec la transcription, selon un mécanisme que le document décrit comme un transfert à chaud.
Avant le lancement, le guide propose de tester la latence, les interruptions, le tour de parole, la précision dans des environnements bruyants et la sécurité, puis de suivre après déploiement le taux de résolution, le taux d’escalade vers un humain, le taux d’erreur de mots et la satisfaction client.
