ElevenLabs lanza dos modelos de transcripción del habla: Scribe v3, para grabaciones, y Scribe v3 Live, para tiempo real. Según la empresa, Scribe v3 produce un 27 % menos de errores de palabras que Scribe v2 en 102 idiomas, y Scribe v3 Live produce un 43 % menos que Scribe v2 Realtime.
La transcripción es la base de muchos productos de audio: actas de reuniones, agentes de voz, doblaje, documentación clínica o archivos de difusión. Un error cometido en esta etapa se repercute en toda la cadena, donde cuesta mucho más corregir. Sin embargo, el audio real rara vez es limpio. Varias personas hablan a la vez, un cliente duda en medio de una frase, o una llamada enfrenta a dos interlocutores que no hablan su lengua materna.
Demandas que han moldeado Scribe v3
Scribe ya ha servido para transcribir « cientos de millones de horas » para aplicaciones de toma de notas, centros de contacto, herramientas de documentación clínica y agentes de voz. Según ElevenLabs, los equipos que lo utilizaban reclamaban cinco mejoras. Las aplicaciones de reunión querían una mejor identificación de los locutores en intercambios rápidos y con tres personas o más. Los equipos de agentes de voz señalaban que un temporizador de silencio corta la palabra de los llamantes cuando hacen una pausa. Otros pedían un nivel de precisión más cercano al del procesamiento diferido. Los clientes indios deseaban un hindi tan fiable como el inglés, incluso cuando los llamantes cambian de idioma en medio de una frase. Por último, muchos querían más control sobre el formato, desde números escritos en cifras hasta listas de términos bastante largas para un catálogo de productos.
Scribe v3 comete un 17 % menos de errores de diarización que Scribe v2 en grabaciones con tres locutores o más, casos donde, según la empresa, la mayoría de modelos existentes fallan. La diarización designa la identificación de quién habla en cada momento. Scribe v3 Live introduce esta función en tiempo real y muestra un 39 % menos de errores de diarización que el mejor de los otros modelos de tiempo real probados.
Para la detección de turnos de palabra, los sistemas clásicos se basan en los silencios. Un umbral corto arriesga a cortar a las personas que hacen una pausa en medio de una frase, mientras que un umbral largo da una impresión de lentitud. Scribe v3 Live también se apoya en el contexto de la conversación, de modo que un llamante que se interrumpe en medio de un número no es cortado. Esta detección ya se utiliza en ElevenAgents y ahora está disponible en la API.
El modelo también puede adivinar los idiomas susceptibles de aparecer en una grabación y elegir mostrar los números en cifras o en letras. El « keyterm prompting » acepta hasta 1.000 términos esperados, como nombres de marcas, siglas o jerga, mientras que la biblioteca de términos clave, reservada a Scribe v3 Live, contiene miles y solo los consulta cuando oye una coincidencia probable. Reglas de formato, redactadas en inglés corriente, también pueden aplicarse, por ejemplo para escribir cada fecha en formato AAAA-MM-DD.
Resultados medidos en varios conjuntos de datos
ElevenLabs ha comparado sus modelos con Scribe v2, Scribe v2 Realtime y otros modelos populares, en los mismos conjuntos de datos. La precisión multilingüe se evaluó en una versión interna del benchmark FLEURS, que prueba la lectura corta y limpia en 102 idiomas. Este benchmark no permite medir la diarización, porque cada extracto contiene solo un locutor. La empresa ha constituido por tanto su propio conjunto de datos, compuesto de reuniones, llamadas y notas de voz reales en 16 idiomas, que anuncia querer publicar en código abierto próximamente.
En FLEURS, Scribe v3 reduce la tasa de error de palabras (WER) en un 27 % respecto a Scribe v2, con una mejora en cada idioma probado. Las ganancias son del 42 % en alemán, 35 % en español y 23 % en inglés, y alcanzan el 34 % en suajili, 29 % en tamil y 28 % en tailandés. Para Scribe v3 Live, ElevenLabs anuncia una bajada del 43 % en la tasa de error semántico, que solo cuenta un error cuando cambia el sentido, y del 31 % en el WER respecto a Scribe v2 Realtime. El griego progresa un 77 %, el danés un 54 % y el croata un 45 %.
En ElevenAgents, el ejemplo de Eneco
Eneco, que suministra energía a más de 2 millones de hogares y empresas en los Países Bajos, hace funcionar su agente de voz en ElevenAgents y probó Scribe v3 Live antes de su lanzamiento. En llamadas reales, el agente reconoció los códigos postales neerlandeses a la primera un 40 % más a menudo, y los números de casa un 15 % más a menudo. Ruud Huigsloot, Senior Product Manager en Eneco, declaró: « ElevenLabs es un verdadero socio para Eneco. Con sus ingenieros desplegados in situ, trabajamos para mejorar aún más nuestro agente de voz. »
Scribe v3 y Scribe v3 Live funcionan por defecto en Estados Unidos y se ofrecen en entornos aislados en la Unión Europea, India y Singapur, para empresas sujetas a requisitos de residencia de datos. El modo Zero Retention elimina el audio y el texto al finalizar una solicitud. Ambos modelos están cubiertos por los programas SOC 2, ISO 27001 y PCI DSS Level 1, y son elegibles para HIPAA. Las integraciones existentes pasan a Scribe v3 reemplazando el identificador del modelo por scribe_v3 o scribe_v3_live. Una versión de Scribe v3 Live optimizada para conversaciones médicas también se ofrece en ElevenAgents.
