ElevenLabs publikuje przewodnik po infrastrukturze AI głosowej, czyli zestawie modeli, połączeń i usług, które umożliwiają agentowi odsłuchanie rozmowy, podjęcie decyzji o dalszym działaniu, interakcję z innymi systemami i odpowiedź głosową. Według przewodnika, u głównych dostawców, w tym ElevenLabs, ten cykl odbywa się w ułamku sekundy. Produkcyjny agent głosowy opiera się na dziewięciu warstwach, od rozpoznawania mowy do nadzoru.
Słuchać, decydować, odpowiadać
Działanie przebiega w łańcuchu: audio jest przekształcane w tekst, model językowy (LLM, duży model językowy) interpretuje żądanie i generuje odpowiedź, która następnie jest zamieniana na głos. Przewodnik precyzuje, że ten proces nie jest liniowy. ElevenAgents zaczyna mówić, gdy tylko otrzyma od modelu „wystarczająco dużo słów i przecinek », tak że audio zaczyna się, zanim pełna odpowiedź istnieje.
Rozpoznawanie mowy, czyli ASR, to pierwsza warstwa. Dla ElevenLabs jej niezawodność jest kluczowa, ponieważ błąd rozprzestrzenia się na wszystkie kolejne etapy. Przewodnik przytacza przykład z ich ram zaufania dla zdrowia: jedna błędnie usłyszana sylaba może zmienić „hydroksyzynę » w „hydralazynę ». ElevenAgents używa Scribe v2 Realtime, który transkrybuje mowę w około 150 ms. Na wielojęzycznym benchmarku FLEURS, obejmującym 30 języków, ElevenLabs twierdzi, że osiągnęło najniższy wskaźnik błędów słów wśród modeli ASR o niskim opóźnieniu. Na benchmarku medycznym Eka, Scribe v2 Medical osiąga, według firmy, 7,0% wskaźnika błędów słów.
Zarządzanie zmianą mówcy decyduje o tym, kiedy agent odpowiada, a kiedy milczy. Przewodnik przypomina, że około 200 ms przerwy jest zwyczajowe między dwoma rozmówcami ludzkimi. ElevenAgents opiera się na własnym modelu, który analizuje ton, rytm i kontekst słów, a nie tylko proste timery ciszy. Mediana opóźnienia między zapytaniem a pierwszą słyszalną mową wynosi, według ElevenLabs, około 150 ms przy użyciu Eleven v4 Turbo.
W przypadku modeli językowych, ElevenAgents oferuje modele od Google, OpenAI i Anthropic, a także modele otwarte hostowane przez ElevenLabs. W przypadku awarii mechanizm „kaskadowy » przełącza na model zapasowy po domyślnym czasie 4 sekund, regulowanym od 2 do 15 sekund, z co najmniej trzema próbami.
Działać, a potem mierzyć
Narzędzia i protokół MCP (Model Context Protocol, otwarty standard umożliwiający modelom dostęp do zewnętrznych narzędzi) pozwalają agentowi sprawdzić system rezerwacji lub zaktualizować CRM. Uprawnienia są domyślnie wyłączone w każdej przestrzeni roboczej, a administrator wybiera tryb zatwierdzania dla każdego serwera. Jeśli chodzi o wiedzę, generowanie wspomagane pobieraniem (RAG) wyszukuje odpowiednie fragmenty w dokumentach firmy przed udzieleniem odpowiedzi. ElevenLabs informuje, że udało się zmniejszyć medianę opóźnienia tego pobierania z 326 ms do 155 ms.
Przewodnik opisuje także zabezpieczenia, te z wersji 2.0 zaprezentowanej we wrześniu 2026 roku, oraz testy i eksperymenty A/B. ElevenAgents deklaruje ponad 10 milionów rozmów tygodniowo. Przewodnik przytacza również przypadek Meesho, które miałoby automatyzować około 90% próśb o wsparcie, oraz Czech, gdzie agenci mieliby obsługiwać około 5000 połączeń dziennie na liniach pomocy społecznej, z 85% spraw rozwiązywanych bez interwencji człowieka, według raportu cytowanego przez firmę.
