ElevenLabs, une start-up d’origine polonaise, annonce le mardi 20 octobre une nouvelle famille de modèles speech-to-speech (qui traitent la voix en entrée et en sortie, sans passer par une étape de transcription écrite), baptisée Eleven Realtime v1. Déclinée en deux versions, Mini et Max, elle est présentée comme un ensemble d’agents vocaux complets, compatibles avec l’API Realtime d’OpenAI. Selon l’entreprise, les modèles sont disponibles dès le lancement.
- ElevenLabs lance Eleven Realtime v1, une famille de modèles speech-to-speech compatible avec l’API Realtime d’OpenAI.
- Le modèle Max vise la précision et les workflows agentiques, tandis que le Mini privilégie la rapidité de réponse.
- Le Max atteint 98,8 % au benchmark Big Bench Audio et répond en 470 millisecondes.
- L’API est disponible en WebSocket, sans WebRTC au lancement, et la migration exige seulement de changer l’endpoint et le nom du modèle.
ElevenLabs affirme avoir réussi à concilier précision et rapidité de réponse, deux qualités qui allaient souvent de pair avec des compromis. La famille gère également les pauses, les interruptions et les tours de parole, afin de rendre la conversation plus naturelle. Elle prend en charge jusqu’à 90 langues et peut utiliser les 17 000 voix de la bibliothèque d’ElevenLabs.
Deux modèles aux usages distincts
ElevenLabs présente Eleven Realtime v1 Mini pour les conversations en langage naturel simple, lorsque la latence (le délai avant la réponse) est prioritaire. Selon l’entreprise, ce modèle suffit pour la majorité des cas d’usage. Eleven Realtime v1 Max vise, lui, les tâches où le raisonnement et la précision comptent davantage, comme le service client ou les workflows agentiques, c’est-à-dire les enchaînements d’actions automatisés. Il convient particulièrement aux demandes nécessitant un raisonnement en plusieurs étapes, avec l’appui d’outils.
Les deux modèles ont été entraînés pour fonctionner nativement comme agents vocaux. Auparavant, ElevenLabs combinait plusieurs modèles pour l’IA vocale, notamment pour la transcription, le traitement du langage et la synthèse vocale. La nouvelle famille regroupe désormais ces étapes dans un seul modèle de speech-to-speech.
Des scores détaillés par benchmark
Les chiffres communiqués, issus d’une évaluation d’Artificial Analysis selon ElevenLabs, montrent un écart net entre les deux versions. Sur le raisonnement vocal, mesuré par le benchmark Big Bench Audio, le Max atteint 98,8 % de précision, contre 75,9 % pour le Mini. Le Max devance ainsi Grok Voice 3.0 (98,5 %) et Gemini 3.8 Live Extended Thinking (97,7 %). Sur la dynamique conversationnelle, mesurée par Full-Duplex-Bench, le Mini obtient 95,8 %, légèrement devant le Max (94,1 %), un niveau que la source juge proche de celui de GPT-Realtime 2.1 d’OpenAI. L’écart se creuse sur les tâches impliquant des appels d’outils, où le Max réussit 87,1 % des cas, contre 60,3 % pour le Mini.
Dans la Speech Agent Arena, où des utilisateurs comparent deux modèles sans savoir lesquels ils écoutent, le Max obtient 998 points et le Mini 988. Côté latence, le Max répond en 470 millisecondes et le Mini en 500. Grok Voice 3.0 répond en 810 millisecondes. D’après Artificial Analysis, aucun modèle n’est à la fois plus précis et plus rapide que le Max, qui offre le meilleur compromis entre précision et latence.
Accès, API et clients
La famille est accessible sur ElevenLabs, dans ElevenAgents, pour un déploiement par téléphone, sur le web, sur WhatsApp ou via des plateformes de centre de contact. Elle est également disponible via la Realtime API de l’entreprise, en WebSocket, le WebRTC n’étant pas pris en charge au lancement. Selon ElevenLabs, cette API est entièrement compatible avec celle d’OpenAI : pour migrer un workflow vocal, il suffit de changer l’endpoint (l’adresse d’appel de l’API) et le nom du modèle.
Dans ElevenAgents, les modèles Realtime suivent la tarification standard à la minute. Via la Realtime API, l’entreprise facture la minute d’audio connectée, ainsi que les tokens, dont le prix reste identique quelle que soit la formule. Le prix au token n’a pas encore été communiqué. ElevenLabs compte par ailleurs des groupes européens parmi ses clients, dont Deutsche Telekom, Revolut et Klarna. Les grandes organisations représentent désormais 55 % de son chiffre d’affaires, contre 40 % il y a douze mois.
