ElevenLabs, ein polnisches Start-up, kündigt am Dienstag, den 20. Oktober, eine neue Familie von Speech-to-Speech-Modellen an (die Spracheingabe direkt in Sprachausgabe verarbeiten, ohne den Umweg über eine schriftliche Transkription), die den Namen Eleven Realtime v1 trägt. In zwei Versionen, Mini und Max, wird sie als vollständige Sprachagenten präsentiert, die mit der Realtime-API von OpenAI kompatibel sind. Laut Unternehmen sind die Modelle ab sofort verfügbar.
- ElevenLabs veröffentlicht die Modellfamilie Eleven Realtime v1 in den Versionen Mini und Max.
- Die Modelle verarbeiten Sprache direkt ohne schriftliche Zwischenstufe und unterstützen bis zu 90 Sprachen.
- Max überzeugt beim logischen Schlussfolgern und bei Tool-Aufrufen, Mini antwortet schneller.
- Die Modelle sind über ElevenAgents und die Realtime API per WebSocket verfügbar, die mit OpenAI kompatibel ist.
ElevenLabs behauptet, Genauigkeit und Antwortgeschwindigkeit erfolgreich vereint zu haben, zwei Eigenschaften, die oft mit Kompromissen einhergingen. Die Modellfamilie verwaltet auch Pausen, Unterbrechungen und Sprecherwechsel, um das Gespräch natürlicher zu gestalten. Sie unterstützt bis zu 90 Sprachen und kann die 17.000 Stimmen der ElevenLabs-Bibliothek nutzen.
Zwei Modelle für unterschiedliche Anwendungen
ElevenLabs stellt Eleven Realtime v1 Mini für einfache natürliche Sprachkonversationen vor, bei denen die Latenz (die Verzögerung vor der Antwort) Priorität hat. Laut Unternehmen reicht dieses Modell für die meisten Anwendungsfälle aus. Eleven Realtime v1 Max zielt hingegen auf Aufgaben ab, bei denen logisches Schlussfolgern und Präzision wichtiger sind, wie im Kundenservice oder bei agentischen Workflows, also automatisierten Aktionsabläufen. Es eignet sich besonders für Anfragen, die mehrstufiges Denken mit Unterstützung von Tools erfordern.
Beide Modelle wurden darauf trainiert, nativ als Sprachagenten zu funktionieren. Bisher kombinierte ElevenLabs mehrere Modelle für Sprach-KI, insbesondere für Transkription, Sprachverarbeitung und Sprachsynthese. Die neue Modellfamilie fasst diese Schritte nun in einem einzigen Speech-to-Speech-Modell zusammen.
Detaillierte Benchmark-Ergebnisse
Die mitgeteilten Zahlen, die laut ElevenLabs auf einer Bewertung von Artificial Analysis basieren, zeigen einen deutlichen Unterschied zwischen den beiden Versionen. Beim mündlichen Schlussfolgern, gemessen am Benchmark Big Bench Audio, erreicht Max 98,8 % Genauigkeit, gegenüber 75,9 % für Mini. Max liegt damit vor Grok Voice 3.0 (98,5 %) und Gemini 3.8 Live Extended Thinking (97,7 %). Bei der Konversationsdynamik, gemessen mit Full-Duplex-Bench, erzielt Mini 95,8 %, knapp vor Max (94,1 %), ein Niveau, das laut Quelle nahe an dem von GPT-Realtime 2.1 von OpenAI liegt. Die Kluft vergrößert sich bei Aufgaben, die Tool-Aufrufe beinhalten, wo Max 87,1 % der Fälle erfolgreich bewältigt, gegenüber 60,3 % für Mini.
In der Speech Agent Arena, wo Nutzer zwei Modelle vergleichen, ohne zu wissen, welche sie hören, erhält Max 998 Punkte und Mini 988 Punkte. Bei der Latenz antwortet Max in 470 Millisekunden und Mini in 500 Millisekunden. Grok Voice 3.0 antwortet in 810 Millisekunden. Laut Artificial Analysis ist kein Modell gleichzeitig präziser und schneller als Max, das den besten Kompromiss zwischen Genauigkeit und Latenz bietet.
Zugang, API und Kunden
Die Modellfamilie ist auf ElevenLabs, in ElevenAgents, für den Einsatz per Telefon, im Web, auf WhatsApp oder über Contact-Center-Plattformen verfügbar. Sie ist auch über die Realtime API des Unternehmens, per WebSocket, erhältlich, wobei WebRTC zum Start nicht unterstützt wird. Laut ElevenLabs ist diese API vollständig kompatibel mit der von OpenAI: Um einen Sprachworkflow zu migrieren, muss nur der Endpoint (die API-Adresse) und der Modellname geändert werden.
In ElevenAgents folgen die Realtime-Modelle der Standard-Abrechnung pro Minute. Über die Realtime API berechnet das Unternehmen die Minute verbundenen Audios sowie Tokens, deren Preis unabhängig vom Tarif gleich bleibt. Der Preis pro Token wurde noch nicht mitgeteilt. Zu den Kunden von ElevenLabs zählen auch europäische Gruppen wie Deutsche Telekom, Revolut und Klarna. Großorganisationen machen mittlerweile 55 % des Umsatzes aus, gegenüber 40 % vor zwölf Monaten.
