ElevenLabsは、サウンドエフェクト生成モデルの最新版となるSFX v3の発表を行いました。ElevenCreativeおよびElevenAPIを通じて現在利用可能で、複数の音を同時に記述するプロンプトに対してより信頼性が高く、SFX v2とのベンチマークテストでは、より説得力のある音楽と音声、よりクリーンで自然な音を実現していると紹介されています。
印象的なシーンは、単一の音に依存することはほとんどありません。サッカーのシーンでは、歓声を上げる観衆、ボールが落ちる音、そして数秒後に同じ観衆がブーイングする音が必要になるかもしれません。これまでは、単一のプロンプトからこれらすべての要素を得るには、試行を繰り返す必要がありました。
単一プロンプトでの複数の音
SFX v3は、同一テキスト内に含まれる複数の指示をより適切に追従します。そのため、記述された音の多くが生成されるオーディオに反映されます。ElevenLabsによれば、ユーザーはシーンを構成する音を記述し、それらが互いにどのように組み合わさるかを聴くことができます。
動画、ゲーム、その他のプロジェクトの制作者にとって、提案される方法は、主要なアクションから始め、周囲の音を追加し、それらが一緒にどのように鳴るかを聴くことです。その後、望む結果に近づけるために記述を調整することができます。
音楽、音声、音質
このモデルは、プロンプトに音楽や音声が含まれる場合の生成も改善しています。同社によれば、音楽のフレーズやボーカルパフォーマンスを環境音や日常音と組み合わせたエフェクトを作成することが可能です。
個々の音の品質は、シーンの信憑性に影響します。銅鑼はその余韻を保ち、鈴はその音色を保ち、ホイッスルは耳障りな音や雑音にならずに音を維持する必要があります。ElevenLabsは、SFX v3が全体的な音質を向上させ、銅鑼、鈴、ホイッスルにおけるこうした望ましくないアーティファクトの発生確率を低減すると述べています。生成されるオーディオは、音が前景にある場合でも背景でディテールを追加する場合でも、要求された音の特性をより良く保持します。
利用可能
ElevenCreativeでは、サウンドエフェクトタブでエフェクトを生成・探索したり、Flowsに追加したり、Studioのプロジェクトに統合したりできます。SFX v3はElevenLabsのモバイルアプリからもアクセス可能です。開発者は、ElevenAPI（プログラミングインターフェース）を通じてこのモデルを利用し、サウンドエフェクト生成を自社の製品やワークフローに統合することができます。
