ElevenLabsは、音声ファイルの各文字を正確なタイムライン上に配置する強制アラインメントモデル「Cue」を発表した。同社によれば、ベンチマークの29言語すべてにおいて、実際の録音データを用いたテストで、他のすべてのアライナーよりも高精度を達成している。既にElevenLabsの文字起こしモデルであるScribeモデルファミリーの基盤技術として採用されている。
字幕が1秒遅れて表示される効果は、視聴者なら誰もが知っているだろう。それにより場面の一貫性が損なわれる。音声モデルを使用する動画やソフトウェアでも、文字起こしが間違った単語をハイライトする際に同じ問題が発生する。強制アラインメントとは、文字起こしの各単語を、それが発話された正確な瞬間に関連付けることである。これは、AIシステムの動作を人間の価値観や嗜好に合わせることを目指す「AIアライメント」と混同してはならない。ここで扱うのは、あくまでテキストと音声の一致である。
ElevenLabsでアラインメントを研究するDanila Kozlov氏はその難しさを説明する。「人間はメディアのアラインメントに関しては、少なくとも単語レベルではかなり優れています。私たちはしばしば、単語がどこから始まるかについて直感的な感覚を持っていますが、文字レベルで、ミリ秒以下の精度でそれを判断するのははるかに難しいのです。」
従来型アライナーの限界
Cue以前は、同社は全製品に搭載されたアライナーを使用していた。チームは顧客や社内ユーザーに不満点を尋ねたところ、その訴えはテストしたオープンソースツールの限界と一致していた。最初の問題は長さに関する。多くのアライナーは約30秒の短いクリップではうまく機能するが、より長いファイルは分割する必要がある。各部分がわずかな同期誤差を生み、セグメントを結合する際にさらなる誤差が加わる可能性がある。
完全な録音ファイルにおいて、Cueの平均誤差は179ミリ秒であるのに対し、オープンソースツールでは283ミリ秒から6,000ミリ秒以上に及ぶ。実際の環境はさらに課題を難しくする。背景雑音、重なり合う声、BGMは多くのツールの基準を狂わせるが、まさにこうしたファイルこそ多くのユーザーが文字起こしを望んでいるものだ。この種の欠陥を含む英語録音では、Cueの平均誤差は57ミリ秒に達するのに対し、他のツールでは65ミリ秒から920ミリ秒に及ぶ。
言語カバレッジも問題となる。ほとんどのオープンソースアライナーは言語ごとに個別のモデルを必要とするため、学習データが少ない言語は十分に扱われなかったり、サポートされていなかったりする。MMS-FAはベンチマークの29言語すべてをカバーする唯一の他のツールだが、Cueは一般的に単語間の境界を決定するスピードで優位を示した。
速度も重要である。大量の音声をアライメントすることはすぐにコストがかさむためだ。ElevenLabsによると、Cueは本番GPU（グラフィックプロセッシングユニット）上で1時間の音声を約0.5秒でアライメントする。次に速いツールであるQwen3-ForcedAlignerは約2秒かかり、最も遅いツールは1分以上を要した。
アライメントされた楽曲
音楽は難しい課題である。歌唱は単語を引き伸ばし、曖昧にするためだ。しかし、Cueはクリエイティブ・コモンズ・ライセンスのJamendoLyrics MultiLangデータセットから、英語、フランス語、スペイン語、ドイツ語の楽曲サブセットを単一パスで処理した。基準位置から0.3秒以内に92.7%の単語を配置でき、次点のツールの82.0%を上回った。単語開始位置に関する平均誤差は0.82秒で、最も近い競合ツールの約半分である。22曲中少なくとも19曲で他のすべてのツールを凌駕した。
Cueは迅速に展開されたが、ある顧客から、グルジア語などリソースが乏しい一部の言語で期待通りの結果が得られないとの報告があった。ElevenLabsは問題を特定し、改善策に関する調査を実施し、新バージョンを学習させ、最初の報告から24時間以内に公開したと述べている。
Cueは既にElevenLabsのすべての音声文字起こし（Speech to Text）に使用されている。直接利用するには、同社のForced Alignment APIを参照するよう案内している。
