ElevenLabs публикует руководство по инфраструктуре голосового ИИ, то есть по совокупности моделей, соединений и сервисов, которые позволяют агенту слушать звонок, принимать решение о дальнейших действиях, взаимодействовать с другими системами и отвечать вслух. Согласно руководству, у ведущих провайдеров, включая ElevenLabs, этот цикл занимает доли секунды. Рабочий голосовой агент состоит из девяти уровней, от распознавания речи до мониторинга.
Слушать, решать, отвечать
Работа следует цепочке: аудио преобразуется в текст, языковая модель (LLM, большая языковая модель) интерпретирует запрос и формирует ответ, который затем преобразуется в голос. В руководстве уточняется, что этот процесс не является линейным. ElevenAgents начинает говорить, как только получает от модели «достаточно слов и запятую», так что аудио начинается до того, как полный ответ сформирован.
Распознавание речи, или ASR, — это первый уровень. Для ElevenLabs его надежность является решающей, поскольку ошибка распространяется на все последующие этапы. В руководстве приводится пример из их доверенной системы для здравоохранения: одна неправильно расслышанная слога может превратить «гидроксизин» в «гидралазин». ElevenAgents использует Scribe v2 Realtime, который транскрибирует речь примерно за 150 мс. По данным ElevenLabs, на многоязычном бенчмарке FLEURS, охватывающем 30 языков, их модель показала самый низкий уровень ошибок по словам среди моделей ASR с низкой задержкой. На медицинском бенчмарке Eka Scribe v2 Medical, по утверждению компании, достигает уровня ошибок по словам в 7,0 %.
Управление очередностью реплик определяет, когда агенту следует отвечать, а когда молчать. В руководстве напоминается, что в человеческом диалоге пауза между репликами обычно составляет около 200 мс. ElevenAgents использует проприетарную модель, которая анализирует тон, ритм и контекст слов, а не просто таймеры тишины. Медианная задержка между запросом и первой слышимой речью, по данным ElevenLabs, составляет около 150 мс при использовании Eleven v4 Turbo.
Для языковых моделей ElevenAgents предлагает модели от Google, OpenAI и Anthropic, а также открытые модели, размещенные на платформе ElevenLabs. В случае сбоя механизм «каскада» переключается на резервную модель после задержки по умолчанию в 4 секунды (настраивается от 2 до 15 секунд), совершая не менее трех попыток.
Действовать, а затем измерять
Инструменты и протокол MCP (Model Context Protocol, открытый стандарт, позволяющий моделям получать доступ к внешним инструментам) позволяют агенту проверять систему бронирования или обновлять CRM. Разрешения по умолчанию отключены в каждой рабочей области, и администратор выбирает режим одобрения для каждого сервера. Что касается знаний, то генерация с извлечением (RAG) ищет релевантные фрагменты в корпоративных документах перед формированием ответа. ElevenLabs сообщает, что им удалось снизить медианную задержку этого извлечения с 326 мс до 155 мс.
В руководстве также описаны защитные механизмы, в том числе версии 2.0, представленной в сентябре 2026 года, а также тестирование и A/B-эксперименты. ElevenAgents заявляет о более чем 10 миллионах разговоров в неделю. В руководстве также упоминается случай с Meesho, который автоматизировал около 90 % запросов в службу поддержки, и случай Чешской Республики, где агенты обрабатывают около 5000 звонков в день на линиях социальной помощи, причем, согласно отчету, цитируемому компанией, 85 % запросов решаются без вмешательства человека.
