В службе поддержки умение понять, когда говорить, а когда молчать, так же важно, как и содержание ответов. В блоге ElevenLabs подробно рассказывается, как ее голосовые агенты управляются с этой очередностью реплик, или « turn taking », в диалоговом искусственном интеллекте.
Агенты должны найти тонкий баланс: молчать достаточно долго, чтобы дать собеседнику высказаться, но не ждать так долго, чтобы латентность (время отклика) и неловкие паузы не ухудшили качество обмена. Для этого модели должны быстро оценивать намерение речи, а не полагаться на строгие таймеры тишины. ElevenLabs утверждает, что ее унифицированная архитектура непрерывно анализирует тон, ритм и контекст слов.
Три решения при каждом обмене
Согласно статье, диалоговая модель следует правилам, определяющим наиболее подходящий момент, чтобы ответить, продолжить говорить или слушать. В первом случае агент отвечает напрямую: на запрос о балансе он сообщает « The account balance is $57.34. », то есть « Баланс счета составляет 57,34 $ ».
Чтобы продолжить говорить, модель продолжает речь и сигнализирует, что она не закончила, даже когда делает паузу. В приведенном примере агент объявляет баланс, затем упоминает ожидающий платеж на ту же сумму, после чего спрашивает, хочет ли звонящий узнать, когда этот платеж будет списан без штрафа за просрочку. В третьем случае агент молчит, пока клиент объясняет свою ситуацию. В примере показан клиент, который подтверждает, что отправил платеж несколько дней назад; агент отвечает, что обработка обычно занимает три дня и штрафы за просрочку применяться не будут.
В документации для разработчиков часто упоминается детекция реплики или « end-of-turn detection ». Системы, сочетающие детекцию речевой активности (VAD, которая классифицирует аудио как речь или тишину) с пониманием языка для оценки, закончил ли собеседник, описываются как « semantic VAD ».
Цепочка обработки в реальном времени
По словам ElevenLabs, ElevenAgents обрабатывает эти решения в три этапа. VAD классифицирует аудиопоток на речь или тишину несколько десятков раз в секунду, затем детекция намерения определяет, действительно ли говорящий закончил или просто делает паузу. Такие признаки, как нисходящая интонация или синтаксически завершенная фраза, могут подтвердить конец реплики, тогда как незавершенная интонация или колебания вроде « эмм… » сигнализируют о паузе.
Время отклика — ключевой фактор, так как оно может заставить звонящего отказаться от разговора. Согласно исследованиям, опубликованным в Journal of Cognition, промежутки между репликами у людей в среднем составляют около 200 мс в зависимости от культуры. ElevenLabs указывает, что при использовании Eleven v4 Turbo с ElevenAgents медианная задержка между запросом и слышимой речью составляет 142 мс.
Прерывания и типичные ошибки
Когда звонящий действительно перебивает, например, чтобы исправить деталь счета, ElevenAgents, по утверждению компании, отправляет сигнал остановки менее чем за 200 мс, и агент прерывается на середине фразы. Однако модели должны отличать такие прерывания от « backchannels » — коротких знаков внимания вроде « I see » или « yeah », которые не являются взятием слова.
В статье выделены три основные проблемы: преждевременное определение конца реплики, слишком долгие паузы и ложные срабатывания из-за шума или слов согласия. Чтобы с ними справиться, ElevenLabs предлагает настраивать параметр « turn eagerness » на три уровня: Eager, Normal (по умолчанию) и Patient, например, когда звонящий диктует номер телефона. Время ожидания также можно регулировать: для службы поддержки, согласно статье, это 5–10 секунд тишины, а для юридических уведомлений — 15–30 секунд.
Наконец, команды по качеству отслеживают два показателя: частота прерываний, которая измеряет, как часто модель ошибочно перебивает звонящего, и латентность ответа. В статье уточняется, что VAD — лишь один из источников данных: детекция реплики добавляет к ней контекст, намерение и просодию.
