ElevenLabsは、音声書き起こしの2つのモデルを発表した：録音用のScribe v3と、リアルタイム用のScribe v3 Liveである。同社によると、Scribe v3は102言語においてScribe v2と比較して単語誤り率を27％削減し、Scribe v3 LiveはScribe v2 Realtimeと比較して43％削減したという。
書き起こしは、多くの音声関連製品の基盤である：会議議事録、音声エージェント、吹き替え、臨床記録、放送アーカイブなど。この段階での誤りは、後続の全ての工程に影響し、修正にははるかに大きなコストがかかる。しかし、実際の音声はめったにクリーンではない。複数の人物が同時に話す、顧客が文中で躊躇する、または非母語話者同士の通話などが発生する。
Scribe v3を形作った要望
Scribeはすでに、ノート取りアプリ、コンタクトセンター、臨床記録ツール、音声エージェント向けに「数億時間」の書き起こしに使用されている。ElevenLabsによれば、利用するチームからは5つの改善点が要望されていた。会議アプリは、素早い対話や3人以上での会話における話者識別の向上を求めていた。音声エージェントチームは、沈黙検知タイマーが、話し手が間を置いた際に通話を切断してしまうと報告した。その他、非リアルタイム処理に近い精度レベルを求める声もあった。インドの顧客は、話者が文中で言語を切り替える場合も含め、英語と同等に信頼性の高いヒンディー語を望んでいた。最後に、多くのユーザーが、数字の表記から製品カタログに十分な長さの用語リストに至るまで、書式設定に対するより多くの制御を求めていた。
Scribe v3は、3人以上の話者がいる録音において、話者分離誤りをScribe v2より17％削減した。同社によると、このようなケースでは既存モデルの多くが失敗するという。話者分離とは、各瞬間に誰が話しているかを識別することである。Scribe v3 Liveはこの機能をリアルタイムで導入し、テストした他のリアルタイムモデル中最も優れたものと比較して、話者分離誤りを39％削減したと発表している。
発話切り替え検知については、従来のシステムは沈黙に依存している。短い閾値では文中で間を置く話者を切断するリスクがあり、長い閾値では遅い印象を与える。Scribe v3 Liveは会話の文脈にも基づくため、番号の途中で話し手が中断しても切断されない。この検知機能はすでにElevenAgentsで使用されており、現在はAPIでも利用可能である。
このモデルは、録音中に現れる可能性のある言語を推測したり、数字を数値または文字で表示するかを選択することもできる。「キータームプロンプティング」は、ブランド名、頭字語、専門用語など、最大1,000の予想される用語を受け入れる。一方、Scribe v3 Live専用のキータームライブラリは数千語を収録し、可能性の高い一致を聞いた時のみ参照する。また、日常的な英語で記述された書式設定ルールを適用することも可能で、例えば日付をYYYY-MM-DD形式で記述するなどができる。
複数のデータセットで測定された結果
ElevenLabsは、自社のモデルをScribe v2、Scribe v2 Realtime、および他の人気モデルと、同じデータセットで比較した。多言語精度は、102言語でクリーンな短い読み上げをテストするFLEURSベンチマークの内部版で評価された。このベンチマークでは、各クリップに話者が1人しかいないため、話者分離を測定できない。そこで同社は、16言語の実際の会議、通話、音声メモからなる独自のデータセットを構築し、近くオープンソースで公開する意向を発表した。
FLEURSでは、Scribe v3は単語誤り率（WER）をScribe v2と比較して27％削減し、テストされた全ての言語で改善が見られた。改善幅は、ドイツ語で42％、スペイン語で35％、英語で23％であり、スワヒリ語で34％、タミル語で29％、タイ語で28％に達した。Scribe v3 Liveについては、ElevenLabsは、意味が変わった場合のみ誤りとカウントする意味誤り率を43％、WERをScribe v2 Realtimeと比較して31％削減したと発表した。ギリシャ語は77％、デンマーク語は54％、クロアチア語は45％の改善を示した。
ElevenAgentsにおけるEnecoの事例
オランダで200万以上の家庭と企業にエネルギーを供給するEnecoは、音声エージェントをElevenAgents上で稼働させており、Scribe v3 Liveを正式リリース前にテストした。実際の通話では、エージェントがオランダの郵便番号を一発で認識する確率が40％向上し、家屋番号の認識率は15％向上した。Enecoのシニアプロダクトマネージャー、Ruud Huigsloot氏は次のように述べている：「ElevenLabsはEnecoにとって真のパートナーです。彼らのエンジニアが現場に展開され、私たちは音声エージェントをさらに改善するために協力しています。」
Scribe v3およびScribe v3 Liveは、デフォルトで米国で動作し、データ所在地要件のある企業向けに、欧州連合、インド、シンガポールの分離環境でも提供されている。ゼロリテンションモードでは、リクエスト終了時に音声とテキストが直ちに削除される。両モデルはSOC 2、ISO 27001、PCI DSS Level 1のプログラムでカバーされ、HIPAAの対象となる。既存の統合は、モデルIDをscribe_v3またはscribe_v3_liveに置き換えることでScribe v3に移行する。医療会話に最適化されたScribe v3 Liveのバージョンも、ElevenAgentsで提供されている。
