Phonon TTS、ベンチマークを上回る高品質なオンデバイス音声合成をローンチ

デバイス上で動作する音声

ほとんどの音声AIはクラウド上で動作し、各文がサーバーとの間を行き来します。一方、Phononはローカルで動作し、ネットワークがなくても音声を利用できます。モデルの重みも公開されています。Phonon 31mはApache 2.0ライセンスの下で提供され、商用製品を含め無料で使用可能です。その他のモデルはCC BY-NCライセンスで、非商用プロジェクトでは無料です。これらの商用利用については、生成される音声の量ではなく、ユーザー数に基づく料金体系となっています。

小型デバイスで高品質な音声を動作させることは長らく困難でした。モデルを小さくすると音質が低下し、高性能なモデルはデバイスに収まりませんでした。Phononはこの両方の制約を同時に解決します。4月に発表されたこのプロジェクトはその後6ヶ月間、パートナーや初期ユーザーと共に開発が進められ、彼らのフィードバックがこのバージョンに反映されています。モデルは小型化され、より多くの言語が追加され、クローニングや作成によるカスタム音声のサポートも組み込まれました。

PhononはPocket TTSの系統を引き継ぎ、他のTTSシステムとは大きく異なる音声生成技術であるflow matchingを採用しています。この技術により、これほど小規模なモデルでこのレベルの品質を実現できましたが、学習には困難が伴いました。当初は数値的に不安定で、5つの言語すべてで高品質な結果を得るためにいくつかの工夫が必要でした。

2つのサイズ、5言語、そしてデモンストレーション

Phononは約65MBと75MBの2サイズで提供されています。両バージョン合わせて、英語、フランス語、ドイツ語、スペイン語、ポルトガル語に対応しています。100以上の音声が内蔵されており、Gradium Studioで独自の音声を作成することも可能です。また、電話番号、日付、コードなど、多くのTTSシステムが正確に読み上げるのに苦労する要素も処理できます。スマートフォン、ノートパソコン、シングルボードコンピュータ、ブラウザタブ上で動作します。

ローンチに際しては、チーム関係者やメンバー自身によるデモンストレーションが行われました。Wi-FiなしのApple Watchでは、Phononがコーヒーの作り方をステップバイステップでガイドします。ネットワークなしのiPhoneでは、エクササイズの回数を数えます。Autonomous社の「Lamp」という名のロボットは選別帽子をかぶり、キャラクターになりきって話します。ブラウザ内では、オフラインの恐竜ゲームがRexが司会を務めるラジオ番組に変わり、プルーストがページごとに音読されます。

開発者たちも既にPhonon上での構築を始めています。ExecuTorchへの変換により、ブラウザ内の訪問者のGPU上で動作させることが可能になり、MicdropプラットフォームはNode.jsアプリケーションに統合し、smallest-s2sなどのSpacesがこれを基盤としています。このモデルは最初の2週間で20万回以上ダウンロードされました。

Open TTSリーダーボードでの結果

Hugging Faceが最近開始したOpen TTS Leaderboardでは、オープンなTTSモデルを比較でき、Hugging Face Hubには9,000以上が登録されています。モデルは23言語について、明瞭度、速度、音声の自然さに基づいて評価されます。このランキングによると、Phononはドイツ語とスペイン語の明瞭度で1位、評価対象の全言語でトップ3に入り、最大100倍大きいモデルと肩を並べています。特に速度面で際立っており、CPUストリーミングベンチマークにおける最初の音声出力までの遅延時間で首位を獲得しています。

Phononを多数のデバイスで動作させるため、チームはCPU、GPU、NPUを含む10以上のバックエンドに対応した推論フレームワーク「ptts」を開発しました。また、Phononは🤗 Transformersのバージョン5.21以降、リファレンスPyTorch実装として利用可能です。Phononはこのチームによる最初のオープンバージョンです。