コンピューター上で音声をクローンし、動画を吹き替えるオープンソースアプリケーション「VoiceStudio」が、GitHubで95,000スターに迫っています。アプリケーション自体は無料ですが、デフォルトでインストールされる音声モデルは商用利用を禁止しており、CPUのみでの生成は大幅に遅くなります。
VoiceStudioのリポジトリは、10月30日時点で94.9kスターを記録しており、これはTrendshiftによると、8月31日から10月30日までの61日間で82,898スターを獲得したことになります。同サイトは9月に複数回、全言語の中で本プロジェクトをデイリー首位にランク付けしました。プロジェクトの責任者としてPalashとShimul Debnathの2名が名を連ねており、後者は10月26日のバージョン0.5.7でメイン開発チームに加わりました。リストには21名のコントリビューターが記載されており、「2人の開発者」という広まっている数字は不正確です。
一部のバズる投稿は単純な結論を導いています：無料のリポジトリがノートパソコン上で同じことを実現できるなら、ElevenLabsは終わりだ、と。しかし、プロジェクトのドキュメントは、モデルのライセンス、必要なハードウェア、まだベータ版であるアプリケーションという点で、よりニュアンスのある物語を語っています。
VoiceStudioの機能：アカウントやAPIキーなしでの音声クローン、吹き替え、音声デザイン
VoiceStudio（旧OmniVoice Studio）は、公式サイトによると、音声クローン、音声デザイン、動画吹き替え、ディクテーション、文字起こし、オーディオブック作成を統合したオープンソースのデスクトップアプリケーションです。全てローカルで処理され、これらの機能にアカウント、APIキー、サブスクリプションは不要です。アプリケーションがインターネットに接続するのは、アップデートとモデルダウンロードの時のみです。また、クローン作成前には音声の所有者の同意を求めます。
クローン作成について、Clubicは、初回テストには3秒のサンプル音声で十分だが、5〜15秒が推奨されると報じています。音声デザインは文字による記述から始まります：サイトでは「女性、中年、低音、イギリス英語アクセント」が例として挙げられています。アプリケーションはmacOS、Windows、Linux、Dockerで動作し、AndroidとiOSでは「プレビュー」版が利用可能です。
発表されている646言語については、サイトはその可用性がエンジン、タスク、バージョンによって異なることを明記しています。したがって、この数字は全ての吹き替えに適用されるものではありません。
商用利用：アプリケーションはAGPL-3.0、デフォルトモデルはCC-BY-NC
リポジトリはAGPL-3.0ライセンスで公開されており、プロジェクトのライセンスページは、アプリケーションの商用利用には別途ライセンスが不要である一方、モデルと出力に関する条件は別途確認が必要であると明記しています。制作物を販売したい場合、この後者の部分が全てを変えます。
デフォルトモデルの「OmniVoice」（k2-fsa開発）は、あらゆる用途で自由に使えるわけではありません。そのコードはApache 2.0ですが、事前学習済みの重みはCC-BY-NCであると、作者らはHugging Faceで説明しています。これは、一部の学習データがこの制約を課しているためです。実際、アプリケーションのモデル画面では、デフォルトエンジンの横に「Non-commercial（非商用）」、複数の代替エンジン（一部はインストール待ち）の横に「Commercial OK（商用可）」と表示されています。
商用利用を目指す場合は、「無料」という言葉に頼るのではなく、エンジンごとに条件を確認する必要があります。サイトはまた、「近日公開」とされる「Pro」プラン（年額99ドルまたは199ドル、商用ライセンス付き）を告知しています。これは、バズる投稿が言う「100%無料」とは同じ約束ではありません。
VoiceStudioはGPUなしで動くのか？ 起動には8GBのメモリで十分
サイトによると、起動には約8GBのRAMで十分であり、GPUは全体を高速化します。プロジェクトのドキュメントは、CPUのみでの処理はAppleチップ（MPS）と比べて約2倍遅く、NVIDIAカード（CUDA）と比べるとさらに遅くなると警告しています。この文脈では、大量の音声を生成する予定なら、「GPUなし」は「可能」であっても「高速」ではないことを意味します。
Windowsでは、PyTorchの高速化はNVIDIAカードに限定されます：AMDおよびIntel GPUは、特定のエンジンを除き、CPUにフォールバックします。Intel Macはインターフェースとしてのみ機能し、リモートサーバーを必要とします。Clubicはさらに、アプリケーションはまだベータ版であり、適切なGPUがないと生成が遅くなる可能性があると付け加えています。
ElevenLabsは販売継続中、月10,000クレジットの無料プランあり
ElevenLabsの料金ページには依然として、月10,000クレジットの無料プラン、そして商用ライセンスを含む月額6ドルのスタータープランが掲載されています。上位プランはビジネス向けの月額990ドルまであり、エンタープライズ向けは見積もり制です。同社のブログ記事はさらに、VPCへのデプロイメント、および企業向けのオンプレミス・オンデバイスデプロイメント（早期アクセス）についても言及しています。
両者を比較する際の議論は、無料かどうかよりも、ライセンス、速度、品質に焦点が当たります。VoiceStudioとElevenLabsの品質を比較した独立した評価は見当たらず、アプリケーションが提供するエンジンも使用条件は一律ではありません。94.9kスターのうち、モデルのライセンスを読んだユーザーがどれだけいるのかは、まだ分かっていません。
