A ElevenLabs apresenta Cue, um modelo de alinhamento forçado que coloca cada caráter de um ficheiro áudio numa linha temporal precisa. Segundo a empresa, é mais preciso do que todos os alinhadores testados em gravações reais, nas 29 línguas do benchmark. Já alimenta a família de modelos Scribe, o modelo de transcrição da ElevenLabs.
Qualquer espectador conhece o efeito de uma legenda que chega um segundo tarde demais: a cena perde coerência. Os vídeos e os softwares que usam modelos vocais enfrentam o mesmo problema, quando uma transcrição realça a palavra errada. O alinhamento forçado consiste em associar cada palavra de uma transcrição ao momento exato em que é pronunciada. Não deve ser confundido com o alinhamento da IA, que visa fazer corresponder o comportamento dos sistemas aos valores e preferências humanas. Aqui, trata-se apenas de fazer coincidir texto e som.
Danila Kozlov, investigador na ElevenLabs e a trabalhar no alinhamento, explica a dificuldade: «Os humanos são bastante bons a alinhar media, pelo menos ao nível da palavra. Temos frequentemente uma ideia intuitiva de onde uma palavra começa, mas ao nível do caráter e com uma precisão inferior ao milissegundo, é muito mais difícil.»
Limites para os alinhadores clássicos
Antes do Cue, a empresa usava um alinhador que equipava todos os seus produtos. A equipa questionou clientes e utilizadores internos sobre as suas frustrações, e as queixas correspondiam aos limites das ferramentas open source testadas. O primeiro problema diz respeito à duração: muitos alinhadores funcionam bem em excertos de cerca de 30 segundos, mas os ficheiros mais longos têm de ser cortados. Cada parte pode adicionar um pequeno erro de sincronização, e a junção dos segmentos pode adicionar outros.
Em gravações completas, o erro médio do Cue é de 179 milissegundos, contra 283 ms a mais de 6000 ms para as ferramentas open source. As condições reais complicam ainda mais a tarefa. Ruído de fundo, vozes sobrepostas e música ambiente fazem perder a referência a muitas ferramentas, quando são precisamente esses os ficheiros que muitos utilizadores querem transcrever. Em gravações inglesas com este tipo de defeitos, o erro médio do Cue atinge 57 ms, contra 65 ms a 920 ms para os outros.
A cobertura linguística também levanta questões. A maioria dos alinhadores open source exige um modelo distinto para cada língua, de modo que as línguas com poucos dados de treino são menos bem tratadas, ou não são suportadas. MMS-FA é a única outra ferramenta a cobrir as 29 línguas do benchmark, e o Cue mostrou-se geralmente mais rápido a determinar as fronteiras entre as palavras.
A velocidade também conta, porque alinhar grandes volumes de áudio pode rapidamente tornar-se dispendioso. Segundo a ElevenLabs, o Cue alinha uma hora de áudio em cerca de meio segundo no seu GPU de produção, um processador gráfico. A segunda ferramenta mais rápida, Qwen3-ForcedAligner, demora cerca de 2 segundos, e a mais lenta ultrapassou um minuto.
Canções alinhadas
A música é um exercício difícil, porque o canto estica e confunde as palavras. No entanto, o Cue processou um subconjunto de canções do conjunto de dados JamendoLyrics MultiLang, sob licença Creative Commons, em inglês, francês, espanhol e alemão, numa única passagem. Colocou 92,7% das palavras a menos de 0,3 segundos da referência, contra 82,0% para a ferramenta seguinte. O seu erro médio no início das palavras é de 0,82 segundos, cerca de metade do do concorrente mais próximo. Superou todas as outras ferramentas em pelo menos 19 das 22 canções.
O Cue foi implementado rapidamente, e um cliente reportou que o georgiano e algumas outras línguas com poucos recursos davam resultados piores do que o esperado. A ElevenLabs afirma ter identificado o problema, realizado investigação sobre melhorias possíveis, treinado uma nova versão e publicado-a em menos de 24 horas após o primeiro relato.
O Cue já é usado para todas as transcrições Speech to Text da ElevenLabs. Para o usar diretamente, a empresa remete para a sua Forced Alignment API.
