VoiceStudio, darmowa aplikacja klonująca głosy i dubbingująca filmy na komputerze, zbliża się do 95 000 gwiazdek na GitHub. Aplikacja jest bezpłatna, ale domyślnie instalowany model głosowy zabrania użycia komercyjnego, a sam procesor wyraźnie spowalnia generowanie.
Repozytorium VoiceStudio miało 94,9k gwiazdek 30 października, według Trendshift, który odnotował 82 898 zdobytych gwiazdek w 61 dni, między 31 sierpnia a 30 października. Ta sama strona wielokrotnie klasyfikowała je jako pierwsze w danym dniu, we wszystkich językach, we wrześniu. Dwie osoby widnieją jako odpowiedzialne za projekt, Palash i Shimul Debnath, ten drugi dołączył do głównego zespołu wraz z wersją 0.5.7 z 26 października, a wymienionych jest 21 współtwórców: zatem krążąca liczba « dwóch programistów » jest niepełna.
Wiralowe publikacje wyciągają z tego prosty wniosek: ElevenLabs miałoby być skończone, skoro darmowe repozytorium robiłoby to samo na laptopie. Jednak dokumentacja projektu opowiada bardziej zniuansowaną historię, między licencją modeli, wymaganym sprzętem a aplikacją wciąż będącą w fazie beta.
Co robi VoiceStudio: klonuje, dubbinguje i projektuje głosy bez konta i klucza API
VoiceStudio, dawniej OmniVoice Studio, to aplikacja desktopowa typu open source, która łączy klonowanie głosu, projektowanie głosu, dubbing wideo, dyktowanie, transkrypcję i audiobooki, zgodnie z jej oficjalną stroną. Wszystko odbywa się lokalnie: ani konta, ani klucza API, ani subskrypcji dla tych funkcji, a aplikacja łączy się z internetem tylko w celu aktualizacji i pobierania modeli. Wymaga także zgody właściciela głosu przed klonowaniem.
W przypadku klonowania, Clubic wskazuje, że 3 sekundy próbki wystarczą na pierwszy test, choć zaleca się 5 do 15 sekund. Projektowanie głosu zaczyna się od opisu tekstowego: strona podaje przykład « kobieta, w średnim wieku, niski ton, brytyjski akcent ». Aplikacja działa na macOS, Windows, Linux i Docker, oraz w wersji « preview » na Android i iOS.
Jeśli chodzi o deklarowane 646 języków, strona wyjaśnia, że ich dostępność zależy od silnika, zadania i wersji. Liczba ta nie obowiązuje więc dla każdego dubbingu.
Użycie komercyjne: aplikacja na licencji AGPL-3.0, model domyślny na CC-BY-NC
Repozytorium jest publikowane na licencji AGPL-3.0, a strona licencyjna projektu wyjaśnia, że komercyjne użycie aplikacji nie wymaga osobnej licencji, podczas gdy warunki modeli i wyników sprawdza się osobno. To właśnie ta druga część zmienia wszystko dla kogoś, kto chce produkować i sprzedawać.
Domyślny model, OmniVoice, opracowany przez k2-fsa, nie jest wolny od wszelkich ograniczeń. Jego kod jest na licencji Apache 2.0, ale jego wstępnie wytrenowane wagi są na licencji CC-BY-NC, piszą jego autorzy na Hugging Face, ponieważ niektóre dane treningowe narzucają to ograniczenie. Ekran modeli w aplikacji wyświetla zresztą « Non-commercial » obok domyślnego silnika i « Commercial OK » obok kilku alternatywnych silników, z których część pozostaje do zainstalowania.
Jeśli celujesz w użycie komercyjne, musisz więc sprawdzać silnik po silniku, a nie polegać na słowie « darmowy ». Strona zapowiada także ofertę « Pro », przedstawianą jako « Coming soon », za 99 $ rocznie lub 199 $, z licencją komercyjną. To nie ta sama obietnica, co « 100% darmowe » z wiralowych publikacji.
Czy VoiceStudio działa bez GPU? 8 GB pamięci wystarczy do uruchomienia
Strona wskazuje, że około 8 GB pamięci RAM wystarczy do uruchomienia i że GPU przyspiesza całość. Dokumentacja projektu ostrzega, że sam procesor jest około 2 razy wolniejszy niż chip Apple (MPS), a jeszcze wolniejszy w porównaniu z kartą NVIDIA (CUDA). W tym kontekście, jeśli planujesz produkować dużo głosów, « bez GPU » oznacza « możliwe », a nie « szybkie ».
W Windows, akceleracja PyTorch ogranicza się do kart NVIDIA: GPU AMD i Intel wracają do procesora, chyba że z niektórymi silnikami. Mac Intel służy tylko jako interfejs i wymaga zdalnego serwera. Clubic dodaje, że aplikacja jest wciąż w wersji beta i że generowanie może być wolne bez odpowiedniego GPU.
ElevenLabs pozostaje w sprzedaży, z 10 000 darmowych kredytów miesięcznie
Strona cenowa ElevenLabs nadal oferuje darmowy plan z 10 000 kredytów miesięcznie, a następnie plan Starter za 6 $ miesięcznie, który obejmuje licencję komercyjną. Poziomy rosną do 990 $ miesięcznie dla oferty Business, a oferta Enterprise jest na zamówienie. Wpis na blogu firmy wspomina także o wdrożeniu w VPC oraz o wdrożeniu lokalnym i na urządzeniu w dostępie wczesnym dla przedsiębiorstw.
Między tymi dwoma, debata dotyczy mniej darmowości, a bardziej licencji, szybkości i jakości. Nie znaleźliśmy żadnego niezależnego, jakościowego porównania VoiceStudio i ElevenLabs, a silniki oferowane przez aplikację nie mają wszystkich takich samych warunków użytkowania. Pozostaje pytanie, ile z 94,9k gwiazdek pochodzi od użytkowników, którzy przeczytali licencję modeli.
