音声合成の仕組み：テキストから自然な声へ

音声合成の仕組み

このプロセスは大きく2つの段階で行われます。最初の段階（フロントエンド）では、テキストをクリーンアップし、トークン（単語、単語の一部、または句読点などの言語単位）に分割し、システムが処理可能な数学的表現（ベクトル）に変換します。2番目の段階（バックエンド）では、これらのデータを音声をモデル化した波形に変換します。

エンジンはまた、記号を解釈する必要があります。例えば「$11」を「eleven dollars」と読みます。さらに、プロソディ、つまり声の高さやリズムも管理し、これが音声に自然な特徴を与えます。このため、特に同綴異義語（同じ綴りでも発音が異なる場合がある単語）に対して、文脈に依存して判断します。

記事では、「Mr. Ríos paid $11 on 10/06.」という一文がプロセスを通じてどのように処理されるかを追っています。エンジンは「Mr.」を「Mister」に展開し、「$11」を「eleven dollars」と読み、「10/06」が「October sixth」か「the tenth of June」のどちらを意味するかを言語と文脈に基づいて決定します。次に「eleven dollars」にアクセントを置き、日付の前に短いポーズを挿入し、文末で声の高さを下げます。その後、音響モデルがメルスペクトログラム（時間に対する音の周波数とエネルギーの表現）を生成し、ボコーダがそれを音声波形に変換します。日付の読み間違いなどの上流でのエラーは、最終的な音声にも反映されます。

ニューラル音声がより人間らしく聞こえる理由

最新のニューラルエンジンは、大量の音声録音とそれに対応するテキストで訓練された深層ニューラルネットワークを使用します。これらは、自然で明瞭な音声を生成することに優れており、エンジニアはこれらのエンジンを評価する際にこの2つの基準を使用します。

ニューラルエンジンは、2つの世代の技術に続くものです。1970年代から1980年代に主流だったフォルマント合成は、数学的規則に基づいてモデル化された音を生成しました。これは明瞭でしたが、単調でロボット的でした。1990年代から2010年代にかけて使用された連結合成は、膨大なコーパスから抽出された小さな人間の音声サンプルを組み合わせました。より自然でしたが、時として途切れ途切れに聞こえる可能性がありました。

また、記事では「音声合成」と「AIボイスジェネレーター」を区別しています。後者はマーケティング用語で、音声デザイン、音声クローニング、音声スタイル転送など、より広範な技術群を指し、音声合成はその一部を構成します。

用途と発音の制御

音声合成は、ナレーション、ボイスオーバー、吹き替え、オーディオブック、ビデオゲームのダイアログなどに使用されます。記事では、TAPがインドの学校向け教育コンテンツを制作するためにElevenLabs TTSを使用した例を引用しています。また、スクリーンリーダー、ディスレクシアの人々のための読書支援、言語学習など、アクセシビリティにも役立ちます。カスタマーサポートでは、音声認識、LLM（大規模言語モデル）、接続されたツールを組み合わせた音声エージェントが使用されます。情報源によると、KlarnaはElevenAgentsにより解決時間を10分の1に短縮しました。

固有名詞や専門用語などの発音エラーを修正するために、ElevenAPIはPLS形式の発音辞書（綴りと音素を関連付ける）と、テキスト内に直接記述できるIPA（国際音声記号）表記の音声タグを提供しています。開発者はまた、API経由でアプリケーションを接続し、テキスト、音声ID、モデルIDを送信できます。記事によれば、会話エージェントの場合、最初の音声までのレイテンシーは約100ミリ秒まで削減可能です。