ElevenLabs veröffentlicht einen Leitfaden zur Infrastruktur der Sprach-KI, also der Gesamtheit der Modelle, Verbindungen und Dienste, die es einem Agenten ermöglichen, einen Anruf abzuhören, über das weitere Vorgehen zu entscheiden, in anderen Systemen zu handeln und laut zu antworten. Laut dem Leitfaden dauert dieser Zyklus bei den führenden Anbietern, darunter ElevenLabs, nur einen Bruchteil einer Sekunde. Ein produktiver Sprachagent basiert auf neun Schichten, von der Spracherkennung bis zur Überwachung.
- Ein Sprachagent hört zu, entscheidet und antwortet in Bruchteilen einer Sekunde.
- Die Spracherkennung ist entscheidend, da Fehler alle folgenden Schritte verfälschen.
- Werkzeuge über MCP sind standardmäßig deaktiviert und erfordern Genehmigung durch den Administrator.
- ElevenAgents verarbeitet laut Anbieter über 10 Millionen Gespräche pro Woche.
Zuhören, entscheiden, antworten
Die Funktionsweise folgt einer Kette: Audio wird in Text umgewandelt, ein Sprachmodell (LLM, Large Language Model) interpretiert die Anfrage und erzeugt eine Antwort, die dann in Sprache umgewandelt wird. Der Leitfaden präzisiert, dass dieser Prozess nicht linear abläuft. ElevenAgents beginnt zu sprechen, sobald es „genug Wörter und ein Komma » vom Modell erhält, sodass die Audioausgabe beginnt, bevor die vollständige Antwort existiert.
Die Spracherkennung oder ASR ist die erste Schicht. Für ElevenLabs ist ihre Zuverlässigkeit entscheidend, da sich ein Fehler auf alle folgenden Schritte auswirkt. Der Leitfaden nennt ein Beispiel aus seinem Vertrauensrahmen für das Gesundheitswesen: Eine einzige falsch verstandene Silbe kann „Hydroxyzin » in „Hydralazin » verwandeln. ElevenAgents verwendet Scribe v2 Realtime, das Sprache in etwa 150 ms transkribiert. Im mehrsprachigen Benchmark FLEURS, der 30 Sprachen abdeckt, gibt ElevenLabs an, die niedrigste Wortfehlerrate unter den ASR-Modellen mit niedriger Latenz erreicht zu haben. Im medizinischen Benchmark Eka erreicht Scribe v2 Medical laut Unternehmen eine Wortfehlerrate von 7,0 %.
Die Gesprächssteuerung entscheidet, wann der Agent antwortet und wann er schweigt. Der Leitfaden erinnert daran, dass zwischen zwei menschlichen Gesprächspartnern üblicherweise eine Pause von etwa 200 ms liegt. ElevenAgents stützt sich auf ein proprietäres Modell, das Tonfall, Rhythmus und Wortkontext analysiert, anstatt nur auf einfache Stille-Timer. Die mediane Verzögerung zwischen Anfrage und erster hörbarer Sprache beträgt laut ElevenLabs mit Eleven v4 Turbo etwa 150 ms.
Für Sprachmodelle bietet ElevenAgents Modelle von Google, OpenAI und Anthropic sowie offene Modelle, die von ElevenLabs gehostet werden. Bei einem Ausfall schaltet ein „Cascade »-Mechanismus nach einer Standardzeit von 4 Sekunden auf ein Ersatzmodell um, einstellbar zwischen 2 und 15 Sekunden, mit mindestens drei Versuchen.
Handeln, dann messen
Werkzeuge und das MCP-Protokoll (Model Context Protocol, ein offener Standard, der Modellen den Zugriff auf externe Werkzeuge ermöglicht) erlauben es dem Agenten, ein Buchungssystem abzufragen oder ein CRM zu aktualisieren. Die Berechtigungen sind standardmäßig in jedem Arbeitsbereich deaktiviert, und der Administrator wählt für jeden Server einen Genehmigungsmodus. Auf der Wissensseite sucht die Retrieval-Augmented Generation (RAG) vor der Antwort nach relevanten Passagen in den Unternehmensdokumenten. ElevenLabs gibt an, die mediane Latenz für diesen Abruf von 326 ms auf 155 ms reduziert zu haben.
Der Leitfaden beschreibt auch die Sicherheitsvorkehrungen, jene der im September 2026 vorgestellten Version 2.0, sowie Tests und A/B-Experimente. ElevenAgents beansprucht mehr als 10 Millionen Gespräche pro Woche. Der Leitfaden nennt auch den Fall von Meesho, das etwa 90 % der Supportanfragen automatisiert haben soll, und den der Tschechischen Republik, wo Agenten laut einem von dem Unternehmen zitierten Bericht etwa 5.000 Anrufe pro Tag auf Sozialhilfe-Hotlines bearbeiten, wobei 85 % der Anfragen ohne menschliches Eingreifen gelöst würden.
