ElevenLabs présente Cue, un modèle d’alignement forcé qui place chaque caractère d’un fichier audio sur une ligne de temps précise. Selon l’entreprise, il est plus précis que tous les aligneurs testés sur des enregistrements réels, dans les 29 langues du benchmark. Il alimente déjà la famille de modèles Scribe, le modèle de transcription d’ElevenLabs.
- ElevenLabs présente Cue, un modèle d’alignement forcé qui place chaque caractère sur une ligne de temps précise.
- Cue affiche une erreur moyenne de 179 ms sur enregistrements complets, contre 283 ms à plus de 6 000 ms pour les outils open source.
- Il couvre les 29 langues du benchmark et aligne une heure d’audio en environ une demi-seconde sur GPU.
- Il est déjà utilisé pour toutes les transcriptions Speech to Text d’ElevenLabs.
Tout spectateur connaît l’effet d’un sous-titre arrivant une seconde trop tard : la scène perd en cohérence. Les vidéos et les logiciels qui utilisent des modèles vocaux rencontrent le même problème, lorsqu’une transcription surligne le mauvais mot. L’alignement forcé consiste à associer chaque mot d’une transcription au moment exact où il est prononcé. Il ne doit pas être confondu avec l’alignement de l’IA, qui vise à faire correspondre le comportement des systèmes aux valeurs et aux préférences humaines. Ici, il s’agit uniquement de faire coïncider texte et son.
Danila Kozlov, chercheur chez ElevenLabs et travaillant sur l’alignement, explique la difficulté : « Les humains sont plutôt bons pour aligner des médias, au moins au niveau du mot. Nous avons souvent une idée intuitive de l’endroit où un mot commence, mais au niveau du caractère et avec une précision inférieure à la milliseconde, c’est beaucoup plus difficile. »
Des limites pour les aligneurs classiques
Avant Cue, l’entreprise utilisait un aligneur qui équipait tous ses produits. L’équipe a interrogé clients et utilisateurs internes sur leurs frustrations, et les plaintes correspondaient aux limites des outils open source testés. Le premier problème concerne la durée : nombre d’aligneurs fonctionnent bien sur des extraits d’environ 30 secondes, mais les fichiers plus longs doivent être découpés. Chaque morceau peut ajouter une petite erreur de synchronisation, et le raccordement des segments peut en ajouter d’autres.
Sur des enregistrements complets, l’erreur moyenne de Cue est de 179 millisecondes, contre 283 ms à plus de 6 000 ms pour les outils open source. Les conditions réelles compliquent encore la tâche. Bruit de fond, voix superposées et musique d’ambiance font perdre leurs repères à de nombreux outils, alors que ce sont justement les fichiers que beaucoup d’utilisateurs veulent transcrire. Sur des enregistrements anglais présentant ce type de défauts, l’erreur moyenne de Cue atteint 57 ms, contre 65 ms à 920 ms pour les autres.
La couverture linguistique pose aussi question. La plupart des aligneurs open source demandent un modèle distinct pour chaque langue, si bien que les langues disposant de peu de données d’entraînement sont moins bien traitées, ou ne sont pas prises en charge. MMS-FA est le seul autre outil à couvrir les 29 langues du benchmark, et Cue s’est généralement montré plus rapide pour déterminer les frontières entre les mots.
La vitesse compte également, car aligner de grands volumes audio peut vite devenir coûteux. Selon ElevenLabs, Cue aligne une heure d’audio en environ une demi-seconde sur son GPU de production, un processeur graphique. Le deuxième outil le plus rapide, Qwen3-ForcedAligner, met près de 2 secondes, et le plus lent a dépassé une minute.
Des chansons alignées
La musique est un exercice difficile, car le chant étire et brouille les mots. Cue a toutefois traité un sous-ensemble de chansons du jeu de données JamendoLyrics MultiLang, sous licence Creative Commons, en anglais, français, espagnol et allemand, en une seule passe. Il a placé 92,7 % des mots à moins de 0,3 seconde du repère, contre 82,0 % pour l’outil suivant. Son erreur moyenne sur le début des mots est de 0,82 seconde, soit environ la moitié de celle du concurrent le plus proche. Il a surpassé tous les autres outils sur au moins 19 des 22 chansons.
Cue a été déployé rapidement, et un client a signalé que le géorgien et quelques autres langues peu dotées en ressources donnaient de moins bons résultats qu’attendu. ElevenLabs affirme avoir identifié le problème, mené des recherches sur les améliorations possibles, entraîné une nouvelle version et l’avoir publiée en moins de 24 heures après le premier signalement.
Cue est déjà utilisé pour toutes les transcriptions Speech to Text d’ElevenLabs. Pour l’employer directement, l’entreprise renvoie vers son Forced Alignment API.
