A ElevenLabs lança dois modelos de transcrição de voz: o Scribe v3, para gravações, e o Scribe v3 Live, para tempo real. Segundo a empresa, o Scribe v3 produz 27% menos erros de palavras do que o Scribe v2 em 102 idiomas, e o Scribe v3 Live produz 43% menos do que o Scribe v2 Realtime.
- A ElevenLabs lança o Scribe v3 para gravações e o Scribe v3 Live para tempo real.
- O Scribe v3 comete 27% menos erros de palavras do que o Scribe v2 em 102 idiomas.
- O Scribe v3 Live melhora a identificação dos locutores e deteta as pausas pelo contexto da conversa.
- Os modelos estão disponíveis na API e no ElevenAgents, com opções de residência de dados.
A transcrição é a base de muitos produtos de áudio: relatórios de reuniões, assistentes de voz, dobragem, documentação clínica ou arquivos de transmissão. Um erro cometido nesta fase repercute-se em toda a cadeia, onde custa muito mais a corrigir. Ora, o áudio real raramente é limpo. Várias pessoas falam ao mesmo tempo, um cliente hesita a meio de uma frase, ou uma chamada opõe dois interlocutores que não falam na sua língua materna.
Pedidos que moldaram o Scribe v3
O Scribe já serviu para transcrever « centenas de milhões de horas » para aplicações de tomada de notas, centros de contacto, ferramentas de documentação clínica e assistentes de voz. De acordo com a ElevenLabs, as equipas que o utilizavam exigiam cinco melhorias. As aplicações de reunião queriam uma melhor identificação dos locutores em trocas rápidas e com três pessoas ou mais. As equipas de assistentes de voz assinalavam que um temporizador de silêncio corta a palavra dos chamadores quando fazem uma pausa. Outros pediam um nível de precisão mais próximo do do processamento diferido. Os clientes indianos desejavam um hindi tão fiável como o inglês, inclusive quando os chamadores mudam de idioma a meio de uma frase. Por fim, muitos queriam mais controlo sobre a formatação, desde números escritos em algarismos até listas de termos suficientemente longas para um catálogo de produtos.
O Scribe v3 comete 17% menos erros de diarização do que o Scribe v2 em gravações com três locutores ou mais, casos em que, segundo a empresa, a maioria dos modelos existentes falha. A diarização designa a identificação de quem fala em cada momento. O Scribe v3 Live introduz esta função em tempo real e apresenta 39% menos erros de diarização do que o melhor dos outros modelos de tempo real testados.
Para a deteção dos turnos de fala, os sistemas clássicos baseiam-se nos silêncios. Um limiar curto arrisca cortar as pessoas que fazem uma pausa a meio de uma frase, enquanto um limiar longo dá uma impressão de lentidão. O Scribe v3 Live também se apoia no contexto da conversa, de modo que um chamador que se interrompa a meio de um número não é cortado. Esta deteção já é utilizada no ElevenAgents e está agora disponível na API.
O modelo também pode adivinhar os idiomas suscetíveis de aparecer numa gravação e escolher mostrar os números em algarismos ou por extenso. O « keyterm prompting » aceita até 1000 termos esperados, como nomes de marcas, siglas ou jargão, enquanto a biblioteca de termos-chave, reservada ao Scribe v3 Live, contém milhares e só os consulta quando ouve uma correspondência provável. Regras de formatação, redigidas em inglês corrente, também podem ser aplicadas, por exemplo para escrever cada data no formato AAAA-MM-DD.
Resultados medidos em vários conjuntos de dados
A ElevenLabs comparou os seus modelos com o Scribe v2, o Scribe v2 Realtime e outros modelos populares, nos mesmos conjuntos de dados. A precisão multilingue foi avaliada numa versão interna do benchmark FLEURS, que testa a leitura curta e limpa em 102 idiomas. Este benchmark não permite medir a diarização, pois cada excerto contém apenas um locutor. A empresa constituiu, portanto, o seu próprio conjunto de dados, composto por reuniões, chamadas e notas de voz reais em 16 idiomas, que anuncia querer publicar em código aberto em breve.
No FLEURS, o Scribe v3 reduz a taxa de erro de palavras (WER) em 27% em relação ao Scribe v2, com uma melhoria em cada idioma testado. Os ganhos são de 42% em alemão, 35% em espanhol e 23% em inglês, e atingem 34% em suaíli, 29% em tâmil e 28% em tailandês. Para o Scribe v3 Live, a ElevenLabs anuncia uma redução de 43% na taxa de erro semântico, que só conta um erro quando o sentido muda, e de 31% no WER em relação ao Scribe v2 Realtime. O grego progride 77%, o dinamarquês 54% e o croata 45%.
No ElevenAgents, o exemplo da Eneco
A Eneco, que fornece energia a mais de 2 milhões de lares e empresas na Holanda, faz funcionar o seu assistente de voz no ElevenAgents e testou o Scribe v3 Live antes do seu lançamento. Durante chamadas reais, o assistente reconheceu os códigos postais holandeses à primeira tentativa 40% mais vezes, e os números de porta 15% mais vezes. Ruud Huigsloot, Senior Product Manager na Eneco, declarou: « A ElevenLabs é um verdadeiro parceiro para a Eneco. Com os seus engenheiros destacados no local, trabalhamos para melhorar ainda mais o nosso assistente de voz. »
O Scribe v3 e o Scribe v3 Live funcionam por predefinição nos Estados Unidos e são oferecidos em ambientes isolados na União Europeia, na Índia e em Singapura, para empresas sujeitas a requisitos de residência de dados. O modo Zero Retention elimina o áudio e o texto logo após o fim de um pedido. Os dois modelos estão cobertos pelos programas SOC 2, ISO 27001 e PCI DSS Level 1, e são elegíveis para HIPAA. As integrações existentes passam para o Scribe v3 substituindo o identificador do modelo por scribe_v3 ou scribe_v3_live. Uma versão do Scribe v3 Live otimizada para conversações médicas também é oferecida no ElevenAgents.
