ElevenLabs presenta Cue, un modelo de alineación forzada que sitúa cada carácter de un archivo de audio en una línea temporal precisa. Según la empresa, es más preciso que todos los alineadores probados en grabaciones reales, en las 29 lenguas del benchmark. Ya alimenta la familia de modelos Scribe, el modelo de transcripción de ElevenLabs.
- ElevenLabs presenta Cue, un modelo de alineación forzada que sitúa cada carácter del audio con gran precisión.
- Cue supera a las herramientas de código abierto en precisión y velocidad, incluso con ruido y música de fondo.
- Cubre las 29 lenguas del benchmark, mientras que la mayoría de alineadores requieren un modelo distinto por lengua.
- Ya funciona en Speech to Text de ElevenLabs y está disponible mediante su Forced Alignment API.
Cualquier espectador conoce el efecto de un subtítulo que llega un segundo tarde: la escena pierde coherencia. Los vídeos y los programas que utilizan modelos de voz se enfrentan al mismo problema, cuando una transcripción subraya la palabra incorrecta. La alineación forzada consiste en asociar cada palabra de una transcripción al momento exacto en que se pronuncia. No debe confundirse con la alineación de la IA, que busca hacer coincidir el comportamiento de los sistemas con los valores y preferencias humanas. Aquí, se trata únicamente de hacer coincidir texto y sonido.
Danila Kozlov, investigador de ElevenLabs y que trabaja en la alineación, explica la dificultad: «Los humanos somos bastante buenos alineando medios, al menos a nivel de palabra. A menudo tenemos una idea intuitiva de dónde empieza una palabra, pero a nivel de carácter y con una precisión inferior al milisegundo, es mucho más difícil.»
Límites para los alineadores clásicos
Antes de Cue, la empresa utilizaba un alineador que equipaba todos sus productos. El equipo preguntó a clientes y usuarios internos sobre sus frustraciones, y las quejas coincidían con los límites de las herramientas de código abierto probadas. El primer problema concierne la duración: muchos alineadores funcionan bien en fragmentos de unos 30 segundos, pero los archivos más largos deben dividirse. Cada trozo puede añadir un pequeño error de sincronización, y la unión de los segmentos puede añadir otros.
En grabaciones completas, el error medio de Cue es de 179 milisegundos, frente a 283 ms a más de 6000 ms para las herramientas de código abierto. Las condiciones reales complican aún más la tarea. Ruido de fondo, voces superpuestas y música ambiental hacen perder sus referencias a muchas herramientas, cuando precisamente son los archivos que muchos usuarios quieren transcribir. En grabaciones en inglés que presentan este tipo de defectos, el error medio de Cue alcanza los 57 ms, frente a 65 ms a 920 ms para los demás.
La cobertura lingüística también plantea dudas. La mayoría de los alineadores de código abierto requieren un modelo distinto para cada lengua, de modo que las lenguas con pocos datos de entrenamiento se tratan peor, o no se admiten. MMS-FA es la única otra herramienta que cubre las 29 lenguas del benchmark, y Cue generalmente se ha mostrado más rápido para determinar las fronteras entre las palabras.
La velocidad también cuenta, porque alinear grandes volúmenes de audio puede volverse rápidamente costoso. Según ElevenLabs, Cue alinea una hora de audio en aproximadamente medio segundo en su GPU de producción, un procesador gráfico. La segunda herramienta más rápida, Qwen3-ForcedAligner, tarda cerca de 2 segundos, y la más lenta superó el minuto.
Canciones alineadas
La música es un ejercicio difícil, porque el canto estira y difumina las palabras. Sin embargo, Cue procesó un subconjunto de canciones del conjunto de datos JamendoLyrics MultiLang, bajo licencia Creative Commons, en inglés, francés, español y alemán, en una sola pasada. Situó el 92,7 % de las palabras a menos de 0,3 segundos de la referencia, frente al 82,0 % de la siguiente herramienta. Su error medio en el inicio de las palabras es de 0,82 segundos, aproximadamente la mitad que el del competidor más cercano. Superó a todas las demás herramientas en al menos 19 de las 22 canciones.
Cue se desplegó rápidamente, y un cliente señaló que el georgiano y algunas otras lenguas con pocos recursos daban peores resultados de lo esperado. ElevenLabs afirma haber identificado el problema, realizado investigaciones sobre posibles mejoras, entrenado una nueva versión y haberla publicado en menos de 24 horas tras la primera notificación.
Cue ya se utiliza para todas las transcripciones Speech to Text de ElevenLabs. Para emplearlo directamente, la empresa remite a su Forced Alignment API.
