Edge0 выпустила Audio8-TTS-Realistic — модель синтеза речи с открытыми весами, способную клонировать голос по одной эталонной записи и её транскрипции. Основная модель имеет 601 миллион параметров и поддерживает 23 языка, что на 12 больше, чем у предшественника. Веса и код распространяются под лицензией Apache 2.0.
Модель основана на Audio8-TTS-Preview-0.6b и сохраняет тот же интерфейс вывода Transformers. Репозиторий включает контрольную точку, нейронный аудиокодек на 44,1 кГц, токенизатор и специфический код. Она также может генерировать речь без эталонного голоса. Новые языки: арабский, финский, хинди, индонезийский, малайский, норвежский, португальский, русский, шведский, тайский, турецкий и вьетнамский.
Архитектура с двумя ветвями
Модель использует архитектуру DualAR (двойная авторегрессия), вдохновлённую Fish Audio S2 Pro. Согласно техническому отчёту Edge0, медленная ветвь построена на Qwen2.5 0.5B. Она имеет 24 слоя шириной 896 и работает примерно на 21,5 кадрах в секунду. На каждом шаге она предсказывает текстовые токены, а также первый аудиокодбук — первый из словарей кодов, представляющих звук.
Быстрая ветвь из 4 слоёв затем предсказывает оставшиеся 9 кодбуков параллельно. Таким образом, последовательные вычисления происходят только на уровне каждого аудиокадра. Кодек, восстанавливающий форму волны на частоте 44,1 кГц, не учитывается в общем числе параметров (0,6 млрд).
При обучении Edge0 считает, что коэффициент ошибок по словам (WER) и сходство говорящего (SIM) не отражают ритм, паузы и синхронизацию. Модель может получить хорошие оценки по этим двум критериям, но всё равно звучать искусственно. Обучение проходит в три этапа: многозадачная тонкая настройка с учителем, затем две фазы GRPO — метода обучения с подкреплением. Последняя фаза использует «критика реалистичности», обученного на шести системах синтеза речи с открытым исходным кодом, оценённых в слепом прослушивании.
Edge0 указывает, что этот последний этап использовал только промпты на китайском и английском языках, но улучшил обе метрики для 13 менее представленных языков. Коэффициент ошибок снизился с 22,53% до 20,77%, а SIM вырос с 0,637 до 0,679.
Заявленные разработчиком характеристики
Эти цифры предоставлены самой Edge0, которая отмечает, что конвейеры оценки и нормализация текста различаются от модели к модели. На бенчмарке CV3, охватывающем 9 языков, Audio8-TTS-Realistic показывает средний коэффициент ошибок 4,86%, опережая VoxCPM2 (5,35%), CosyVoice3-1.5B (6,89%) и Qwen3-TTS-1.7B (7,73%). На Seed-TTS для английского и китайского средняя ошибка составляет 1,25%. На MiniMax, который охватывает 24 языка, она достигает 5,89%, тогда как Qwen3-TTS-1.7B показывает 27,41% — модель, официально поддерживающая только 10 из этих языков.
Более крупные модели остаются лидерами в некоторых тестах. Higgs TTS 3 заявляет 4,41% на CV3 и 2,74% на MiniMax. Менее охваченные языки остаются уязвимыми: коэффициент ошибок достигает 48,57% для тайского на CV3 и 31,35% для кантонского на MiniMax.
Для развёртывания Edge0 рекомендует GPU CUDA, тесты проводились на NVIDIA H20 в формате BF16. В отчёте упоминается пиковое потребление памяти от 1,1 до 1,2 Гиб на процессоре Apple M2 в версии INT4 ONNX, но публичный экспорт ONNX для версии Realistic пока недоступен. Бесплатный Playground, работающий на Hugging Face ZeroGPU, позволяет протестировать модель.
