ElevenLabs, een startup van Poolse oorsprong, kondigt op dinsdag 20 oktober een nieuwe familie van speech-to-speech-modellen aan (die spraak verwerken voor invoer en uitvoer, zonder een schriftelijke transcriptiestap), genaamd Eleven Realtime v1. Beschikbaar in twee versies, Mini en Max, wordt het gepresenteerd als een complete set spraakagenten, compatibel met de Realtime API van OpenAI. Volgens het bedrijf zijn de modellen direct bij de lancering beschikbaar.
- ElevenLabs lanceert Eleven Realtime v1, een familie van speech-to-speech-modellen in een Mini- en een Max-versie.
- De Max presteert beter op vocaal redeneren en tool-aanroepen, terwijl de Mini een vergelijkbare conversatiedynamiek biedt.
- De modellen zijn compatibel met de Realtime API van OpenAI, zodat migreren alleen een nieuw endpoint en een nieuwe modelnaam vraagt.
- Grote organisaties vertegenwoordigen nu 55% van de omzet van ElevenLabs, tegenover 40% twaalf maanden geleden.
ElevenLabs beweert een balans te hebben gevonden tussen nauwkeurigheid en reactiesnelheid, twee kwaliteiten die vaak met compromissen gepaard gingen. De familie beheert ook pauzes, onderbrekingen en beurtwisselingen, om het gesprek natuurlijker te laten verlopen. Het ondersteunt tot 90 talen en kan gebruikmaken van de 17.000 stemmen in de bibliotheek van ElevenLabs.
Twee modellen voor verschillende toepassingen
ElevenLabs presenteert Eleven Realtime v1 Mini voor eenvoudige natuurlijke gesprekken, wanneer latentie (de vertraging voor een antwoord) prioriteit heeft. Volgens het bedrijf is dit model voldoende voor de meeste gebruiksscenario’s. Eleven Realtime v1 Max is gericht op taken waar redeneren en precisie belangrijker zijn, zoals klantenservice of agentische workflows, dat wil zeggen geautomatiseerde actieketens. Het is bijzonder geschikt voor verzoeken die stapsgewijs redeneren vereisen, met ondersteuning van tools.
Beide modellen zijn getraind om native als spraakagenten te functioneren. Voorheen combineerde ElevenLabs meerdere modellen voor spraak-IA, onder meer voor transcriptie, taalverwerking en spraaksynthese. De nieuwe familie bundelt deze stappen nu in één enkel speech-to-speech-model.
Gedetailleerde scores per benchmark
De vrijgegeven cijfers, afkomstig van een evaluatie door Artificial Analysis volgens ElevenLabs, tonen een duidelijk verschil tussen de twee versies. Op vocaal redeneren, gemeten door de benchmark Big Bench Audio, behaalt de Max 98,8% nauwkeurigheid, tegen 75,9% voor de Mini. De Max overtreft daarmee Grok Voice 3.0 (98,5%) en Gemini 3.8 Live Extended Thinking (97,7%). Op conversatiedynamiek, gemeten door Full-Duplex-Bench, behaalt de Mini 95,8%, iets voor op de Max (94,1%), een niveau dat volgens de bron dicht bij dat van GPT-Realtime 2.1 van OpenAI ligt. Het verschil wordt groter bij taken met tool-aanroepen, waar de Max 87,1% van de gevallen succesvol afhandelt, tegen 60,3% voor de Mini.
In de Speech Agent Arena, waar gebruikers twee modellen vergelijken zonder te weten welke ze beluisteren, behaalt de Max 998 punten en de Mini 988. Qua latentie reageert de Max in 470 milliseconden en de Mini in 500. Grok Voice 3.0 reageert in 810 milliseconden. Volgens Artificial Analysis is er geen model dat tegelijkertijd nauwkeuriger en sneller is dan de Max, die de beste balans biedt tussen precisie en latentie.
Toegang, API en klanten
De familie is toegankelijk op ElevenLabs, in ElevenAgents, voor implementatie via telefoon, web, WhatsApp of via contactcenterplatforms. Het is ook beschikbaar via de Realtime API van het bedrijf, via WebSocket, waarbij WebRTC bij de lancering niet wordt ondersteund. Volgens ElevenLabs is deze API volledig compatibel met die van OpenAI: om een spraakworkflow te migreren, volstaat het om het endpoint (het API-aanroepadres) en de modelnaam te wijzigen.
In ElevenAgents volgen de Realtime-modellen de standaardtarieven per minuut. Via de Realtime API factureert het bedrijf de aangesloten audiominuut, evenals de tokens, waarvan de prijs ongeacht het abonnement gelijk blijft. De prijs per token is nog niet bekendgemaakt. ElevenLabs telt verder Europese groepen onder zijn klanten, waaronder Deutsche Telekom, Revolut en Klarna. Grote organisaties vertegenwoordigen nu 55% van zijn omzet, tegen 40% twaalf maanden geleden.
