カスタマーサービスにおいて、話すタイミングと黙るタイミングは、回答内容と同じくらい重要だ。ブログ記事で、ElevenLabsは、会話型人工知能におけるターン制御、すなわち「ターン・テイキング」を、その音声エージェントがどのように管理しているかを詳述している。
エージェントは微妙なバランスを見つけなければならない。相手が話すのに十分な長さ黙りつつ、レイテンシ（応答遅延）や気まずい沈黙がやり取りの質を損なうほど長く待ってはいけない。そのため、モデルは厳格な無音タイマーに依存するのではなく、発話意図を素早く評価する必要がある。ElevenLabsは、その統一アーキテクチャが、トーン、リズム、言葉の文脈を継続的に分析していると主張する。
一連のやり取りにおける三つの判断
記事によれば、会話モデルは、最も適切なタイミングで応答するか、発話を継続するか、聞き役に回るかを決定するルールに従う。最初の場合、エージェントは直接応答する。残高照会には、「The account balance is $57.34.」（口座残高は57.34ドルです）と答える。
発話を継続する場合、モデルは話し続け、たとえ間を置いてもまだ終わっていないことを示す。例では、エージェントは残高を伝えた後、同額の保留中の支払いについて言及し、遅延手数料なしでいつその支払いが引き落とされるかを知りたいかどうかを発信者に尋ねる。三つ目の場合、エージェントは顧客が状況を説明する間黙っている。例では、顧客が数日前に支払いを送ったことを確認し、エージェントは通常3日かかる処理であり遅延手数料は適用されないと応答する。
開発者向けドキュメントでは、ターン検知や「end-of-turn detection」についてよく言及される。音声活動検知（VAD、音声を発話か無音かに分類）と言語理解を組み合わせて相手の発話が終わったかどうかを判断するシステムは、「semantic VAD」と表現される。
リアルタイム処理の連鎖
ElevenLabsによると、ElevenAgentsはこれらの判断を3段階で処理する。VADが音声ストリームを発話か無音かに1秒間に数十回分類し、次に意図検知が、話者が本当に終わったのか、単に間を置いているのかを判断する。下降調や文法的に完全な文などの手がかりはターンの終了を示し、一方、懸垂調や「umm…」などのためらいは間を置いていることを示す。
応答遅延は重要な要素であり、発信者が会話を放棄する原因となりうる。『Journal of Cognition』に掲載された研究によれば、人間間のターン切り替えの間隔は文化によって平均約200ミリ秒だという。ElevenLabsは、ElevenAgentsで使用されるEleven v4 Turboでは、リクエストから聞こえる音声までの中央遅延時間は142ミリ秒であるとしている。
割り込みと一般的なエラー
発信者が実際に言葉を遮った場合、例えば口座の詳細を訂正するときなど、ElevenAgentsは200ミリ秒未満で停止信号を送信し、エージェントは発話の途中で中断すると同社は述べている。ただし、モデルはこのような割り込みと、「I see」や「yeah」などの聞いていることを示す小さな合いの手（バックチャネル）を区別する必要がある。後者は発話の取得ではない。
記事は三つの主な不具合を特定している。ターン終了の早期検知、長すぎる沈黙、ノイズや相槌による誤検知だ。これに対処するため、ElevenLabsは「ターン積極性」を3段階（Eager、Normal（デフォルト）、Patient）で調整することを提案している。例えば発信者が電話番号を綴るときなどだ。待機時間も調整可能で、カスタマーサービスでは記事によれば5～10秒、法的告知では15～30秒の沈黙が設定できる。
最後に、品質管理チームは二つの指標を追跡する。モデルが誤って発信者を遮る頻度を測る割り込み率と、応答遅延だ。記事は、VADは単なる一つのデータポイントに過ぎず、ターン検知には文脈、意図、韻律が加わると補足している。
