AIを基盤とした音声アシスタントは、人間のオペレーターを介さずに、電話での返金リクエストを処理することができます。ElevenLabsが公開したガイドによると、音声認識、言語モデル、音声合成を組み合わせたこれらのアシスタントは、企業のカスタマーサービスで増加しています。この文書は、それを構築するためのステップを詳述しています。
具体的には、AI音声アシスタントは音声を理解し、ユーザーが接続されたシステムを操作できるようにするソフトウェアです。それは3つの要素を組み合わせます：音声認識（音声からテキストへ）、大規模言語モデル（LLM、テキストを推論可能）、音声合成（テキストから音声へ）。文字起こしを超えて、アプリケーションを起動したり、データを取得したり、機械を制御したりできます。Siri、Alexa、Google Assistantのような一般消費者向けアシスタントは主に単純なコマンドに対応しますが、組織はより複雑なプロセスのために開発しています。ガイドは、保険会社のAdmiralを例に挙げ、何百万人もの顧客を対象に、質問に答え、文書を参照し、人間のオペレーターから繰り返し作業を軽減できる音声アシスタントを設計したとしています。
ミッションを定義し、ツールを選択する
コードを一行も書く前に、ガイドはエージェントのミッションを定義し、ユーザーの困難について分野の専門家に相談し、測定可能な指標を設定することを推奨しています。例えば、販売プロセスの場合、エージェントは事前審査の質問ができる必要があります。文書によると、ElevenLabsの営業開発担当エージェント「Dom」は、92%の見込み客選定精度を達成しました。
開発者は次に、2つの道のいずれかを選択する必要があります。ElevenAPIを通じてアクセス可能な生のAPIは、言語モデル、オーケストレーション、電話機能、監視に対して完全な制御を提供しますが、すべてを構築し維持する必要があります。マネージドプラットフォームのElevenAgentsは、モデル、ツール、ナレッジベース、およびSalesforce、Zendesk、HubSpotなどのサービスへのコネクタを統合し、テストと分析機能を備えています。ガイドは、まずElevenAgentsでユースケースを検証し、より多くの制御が必要なレイヤーのみにコードを書くことを提案しています。
遅延、割り込み、および検証
応答時間は中心的なポイントです。ガイドは、往復500ミリ秒以下に抑えることを推奨し、700ミリ秒以上かかって応答するエージェントは不自然に見えると指摘しています。ElevenLabsによると、同社のScribe v2 Realtimeモデルは、ネットワークやアプリケーション時間を除き、150ミリ秒未満で音声を文字起こしし、音声合成モデルv4 Turboは推論のみで約100ミリ秒の遅延を示します。文書によると、発話終了検出（VAD）は、単なる無音時間ではなく、深層学習アルゴリズムに依存しています。
敏感な操作については、ガイドは明示的な音声確認を想定しています。顧客が注文をキャンセルしたい場合、エージェントは「注文をキャンセルしてもよろしいですか？」と尋ね、応答を待つ必要があります。発信者の身元も、電話番号を顧客ファイルと照合し、アカウント保有者のみが知る答えを持つ質問によって検証する必要があり、これは言語モデルではなくツールによって検証されます。幻覚（plausibleだが不正確な応答）を制限するために、ガイドは検索拡張生成（RAG）システムを推奨しており、これはモデルを企業の文書ベースにリンクします。最後に、会話が緊迫したり、エージェントの能力を超えたりした場合、エージェントは、文書がホットトランスファーと説明するメカニズムで、文字起こしとともに人間に通話を転送できます。
ローンチ前に、ガイドは遅延、割り込み、発話順序、騒音環境での精度、セキュリティをテストし、展開後は解決率、人間へのエスカレーション率、単語誤り率、顧客満足度を追跡することを提案しています。
