ElevenLabs, uma startup de origem polaca, anunciou esta terça-feira, 20 de outubro, uma nova família de modelos speech-to-speech (que processam voz como entrada e saída, sem passar por uma etapa de transcrição escrita), batizada Eleven Realtime v1. Disponível em duas versões, Mini e Max, é apresentada como um conjunto de agentes vocais completos, compatíveis com a API Realtime da OpenAI. Segundo a empresa, os modelos estão disponíveis desde o lançamento.
- A ElevenLabs lança a família Eleven Realtime v1, disponível nas versões Mini e Max.
- Os modelos processam a voz diretamente, sem etapa de transcrição, e são compatíveis com a API Realtime da OpenAI.
- O Max destaca-se na precisão e nas chamadas de ferramentas, enquanto o Mini privilegia a rapidez de resposta.
- A API funciona em WebSocket, sem suporte a WebRTC no lançamento, e os modelos já estão disponíveis.
A ElevenLabs afirma ter conseguido conciliar precisão e rapidez de resposta, duas qualidades que muitas vezes implicavam compromissos. A família também gere pausas, interrupções e turnos de fala, para tornar a conversa mais natural. Suporta até 90 idiomas e pode utilizar as 17 000 vozes da biblioteca da ElevenLabs.
Dois modelos com usos distintos
A ElevenLabs apresenta Eleven Realtime v1 Mini para conversas em linguagem natural simples, quando a latência (o atraso antes da resposta) é prioritária. Segundo a empresa, este modelo é suficiente para a maioria dos casos de uso. Eleven Realtime v1 Max visa, por sua vez, tarefas onde o raciocínio e a precisão são mais importantes, como o serviço ao cliente ou workflows agenticos, ou seja, sequências de ações automatizadas. É particularmente adequado para pedidos que exigem um raciocínio em várias etapas, com o apoio de ferramentas.
Os dois modelos foram treinados para funcionar nativamente como agentes vocais. Anteriormente, a ElevenLabs combinava vários modelos para IA vocal, nomeadamente para transcrição, processamento de linguagem e síntese de voz. A nova família agrupa agora estas etapas num único modelo de speech-to-speech.
Pontuações detalhadas por benchmark
Os números comunicados, resultantes de uma avaliação da Artificial Analysis segundo a ElevenLabs, mostram uma diferença clara entre as duas versões. No raciocínio vocal, medido pelo benchmark Big Bench Audio, o Max atinge 98,8 % de precisão, contra 75,9 % para o Mini. O Max supera assim o Grok Voice 3.0 (98,5 %) e o Gemini 3.8 Live Extended Thinking (97,7 %). Na dinâmica conversacional, medida pelo Full-Duplex-Bench, o Mini obtém 95,8 %, ligeiramente à frente do Max (94,1 %), um nível que a fonte considera próximo do GPT-Realtime 2.1 da OpenAI. A diferença acentua-se nas tarefas que envolvem chamadas de ferramentas, onde o Max tem sucesso em 87,1 % dos casos, contra 60,3 % para o Mini.
Na Speech Agent Arena, onde utilizadores comparam dois modelos sem saberem quais estão a ouvir, o Max obtém 998 pontos e o Mini 988. Quanto à latência, o Max responde em 470 milissegundos e o Mini em 500. O Grok Voice 3.0 responde em 810 milissegundos. Segundo a Artificial Analysis, nenhum modelo é simultaneamente mais preciso e mais rápido do que o Max, que oferece o melhor compromisso entre precisão e latência.
Acesso, API e clientes
A família está acessível na ElevenLabs, no ElevenAgents, para implementação por telefone, na web, no WhatsApp ou através de plataformas de centro de contacto. Está também disponível via a Realtime API da empresa, em WebSocket, não sendo suportado o WebRTC no lançamento. Segundo a ElevenLabs, esta API é totalmente compatível com a da OpenAI: para migrar um workflow vocal, basta alterar o endpoint (o endereço de chamada da API) e o nome do modelo.
No ElevenAgents, os modelos Realtime seguem a tarifação padrão por minuto. Através da Realtime API, a empresa fatura o minuto de áudio conectado, bem como os tokens, cujo preço permanece idêntico independentemente da fórmula. O preço por token ainda não foi comunicado. A ElevenLabs conta ainda com grupos europeus entre os seus clientes, incluindo a Deutsche Telekom, a Revolut e a Klarna. As grandes organizações representam agora 55 % das suas receitas, contra 40 % há doze meses.
