ElevenLabsは、Sound Effects APIで利用可能な最新のサウンドエフェクト生成モデル「SFX v3」のリリースを発表した。同社によると、SFX v2よりも複数の指示に従う精度が高く、音声と音楽の処理も改善されている。
新モデルへの移行
SFX v3を使用するには、エンドポイントPOST /v1/sound-generationにおいて、モデル識別子パラメータmodel_idをeleven_text_to_sound_v3に設定するだけでよい。エンドポイントとは、API(アプリケーションプログラミングインターフェース)においてアプリケーションがリクエストを送信するアドレスを指す。
長さを指定する必要はない:モデルはプロンプトと呼ばれる指示に基づいて、エフェクトの長さを自動的に選択する。正確な調整が必要な場合は、duration_secondsパラメータで希望の長さを設定できる。
結果が要求から乖離する場合、デフォルト値0.3を超えてprompt_influenceパラメータを上げることができる。値を高くすると、指示に忠実に従い、2回の生成間のばらつきが減少する。クエリパラメータoutput_formatは、ファイルのコーデックとサンプリングレートを定義し、mp3_44100_128やpcm_48000などのフォーマットを指定する。
最後に、ループ機能は現時点ではeleven_text_to_sound_v2でのみ動作する。ループが必要なリクエストは、パラメータloop: trueを設定し、このモデルのままにしておく必要がある。
指示の作成方法
SFX v3は、複数のシーケンスからなるサウンドエフェクトに特に優れているとされている。指示の順序が重要で、イベントは発生する順番に列挙する必要がある。例えば、「Footsteps on gravel, then a metallic door opens」(砂利の上の足音、その後金属製のドアが開く)など。単一の音の場合、短く具体的な指示が最良の結果をもたらす。
表現も重要である。ElevenLabsによると、あるテスターは「a couple arguing in French」(フランス語で言い争うカップル)が「a couple fighting in French」(フランス語で喧嘩するカップル)よりもはるかに良い結果をもたらすことに気づいたという。同社は、同じイベントに対して複数の表現を試してから最終決定することを推奨している。
v2とv3の比較
SFX v3は、漸進的なアップデートと説明されている。ゴング、チャイム、やかんの笛のような高音のクリッピング(信号が許容最大レベルを超えた際の歪み)の発生が少ないとされる。同社のエンジニアリングチームは、レンダリングが全体的により自然であると評価している。
両モデルは同じエンドポイントで動作するため、結果を比較しやすい:モデルを変更する前に、最も頻繁に使用するリクエストをv2とv3の両方に送信すればよい。サウンドエフェクトは、コードを使用せずに、Sound Effectsタブ、およびElevenCreative内のFlowsとStudioからもアクセス可能である。
