ElevenLabs, polski startup, ogłasza we wtorek 20 października nową rodzinę modeli speech-to-speech (przetwarzających głos na wejściu i wyjściu, bez pośrednictwa transkrypcji tekstowej), nazwaną Eleven Realtime v1. Dostępna w dwóch wersjach, Mini i Max, jest prezentowana jako kompletny zestaw agentów głosowych, kompatybilnych z API Realtime od OpenAI. Według firmy, modele są dostępne od momentu premiery.
- ElevenLabs wprowadza Eleven Realtime v1, rodzinę modeli speech-to-speech w wersjach Mini i Max.
- Max osiąga wyższą precyzję w rozumowaniu i wywołaniach narzędzi, a Mini oferuje niższą latencję.
- Modele działają natywnie jako agenci głosowi i są kompatybilne z API Realtime od OpenAI.
- Dostęp zapewniają ElevenAgents oraz WebSocket, bez obsługi WebRTC na starcie.
ElevenLabs twierdzi, że udało mu się pogodzić precyzję z szybkością odpowiedzi, dwie cechy, które często wymagały kompromisów. Rodzina modeli obsługuje również pauzy, przerwania i zmianę mówcy, aby rozmowa była bardziej naturalna. Obsługuje do 90 języków i może korzystać z 17 000 głosów z biblioteki ElevenLabs.
Dwa modele o różnych zastosowaniach
ElevenLabs prezentuje Eleven Realtime v1 Mini do prostych rozmów w języku naturalnym, gdy priorytetem jest niska latencja (opóźnienie przed odpowiedzią). Według firmy, ten model wystarcza w większości przypadków użycia. Eleven Realtime v1 Max jest przeznaczony dla zadań, w których liczy się rozumowanie i precyzja, takich jak obsługa klienta lub zautomatyzowane przepływy pracy agentowe. Szczególnie nadaje się do żądań wymagających wieloetapowego rozumowania z wykorzystaniem narzędzi.
Oba modele zostały wytrenowane, aby działać natywnie jako agenci głosowi. Wcześniej ElevenLabs łączył kilka modeli dla AI głosowej, w tym do transkrypcji, przetwarzania języka i syntezy mowy. Nowa rodzina grupuje teraz te etapy w jeden model speech-to-speech.
Szczegółowe wyniki benchmarków
Opublikowane dane, pochodzące z oceny Artificial Analysis według ElevenLabs, pokazują wyraźną różnicę między dwiema wersjami. W zakresie rozumowania głosowego, mierzonego benchmarkiem Big Bench Audio, Max osiąga 98,8% precyzji, w porównaniu do 75,9% dla Mini. Max wyprzedza tym samym Grok Voice 3.0 (98,5%) i Gemini 3.8 Live Extended Thinking (97,7%). W dynamice konwersacyjnej, mierzonej przez Full-Duplex-Bench, Mini uzyskuje 95,8%, nieznacznie przed Maxem (94,1%), poziom, który źródło ocenia jako zbliżony do GPT-Realtime 2.1 od OpenAI. Różnica powiększa się w zadaniach wymagających wywołań narzędzi, gdzie Max radzi sobie w 87,1% przypadków, a Mini w 60,3%.
W Speech Agent Arena, gdzie użytkownicy porównują dwa modele nie wiedząc, którego słuchają, Max zdobywa 998 punktów, a Mini 988. W kwestii latencji, Max odpowiada w 470 milisekund, a Mini w 500. Grok Voice 3.0 odpowiada w 810 milisekund. Według Artificial Analysis, żaden model nie jest jednocześnie dokładniejszy i szybszy niż Max, który oferuje najlepszy kompromis między precyzją a latencją.
Dostęp, API i klienci
Rodzina modeli jest dostępna na ElevenLabs, w ElevenAgents, do wdrożenia przez telefon, w sieci web, na WhatsApp lub za pośrednictwem platform centrów kontaktowych. Jest również dostępna przez Realtime API firmy, w WebSocket, przy czym WebRTC nie jest obsługiwane przy starcie. Według ElevenLabs, to API jest w pełni kompatybilne z API OpenAI: aby zmigrować przepływ pracy głosowej, wystarczy zmienić endpoint (adres wywołania API) i nazwę modelu.
W ElevenAgents, modele Realtime podlegają standardowej wycenie za minutę. Przez Realtime API, firma rozlicza minutę podłączonego audio oraz tokeny, których cena pozostaje taka sama niezależnie od planu. Cena za token nie została jeszcze podana. ElevenLabs ma wśród swoich klientów europejskie grupy, w tym Deutsche Telekom, Revolut i Klarna. Duże organizacje stanowią obecnie 55% jego przychodów, w porównaniu do 40% dwanaście miesięcy temu.
