ElevenLabs presenta Cue, un modello di allineamento forzato che posiziona ogni carattere di un file audio su una timeline precisa. Secondo l’azienda, è più accurato di tutti gli allineatori testati su registrazioni reali, nelle 29 lingue del benchmark. Alimenta già la famiglia di modelli Scribe, il modello di trascrizione di ElevenLabs.
Ogni spettatore conosce l’effetto di un sottotitolo che arriva un secondo troppo tardi: la scena perde coerenza. I video e i software che utilizzano modelli vocali incontrano lo stesso problema, quando una trascrizione evidenzia la parola sbagliata. L’allineamento forzato consiste nell’associare ogni parola di una trascrizione al momento esatto in cui viene pronunciata. Non deve essere confuso con l’allineamento dell’IA, che mira a far corrispondere il comportamento dei sistemi ai valori e alle preferenze umane. Qui, si tratta unicamente di far coincidere testo e suono.
Danila Kozlov, ricercatore di ElevenLabs che lavora sull’allineamento, spiega la difficoltà: «Gli esseri umani sono piuttosto bravi ad allineare i media, almeno a livello di parola. Spesso abbiamo un’idea intuitiva di dove inizia una parola, ma a livello di carattere e con una precisione inferiore al millisecondo, è molto più difficile.»
Limiti per gli allineatori classici
Prima di Cue, l’azienda utilizzava un allineatore che equipaggiava tutti i suoi prodotti. Il team ha interrogato clienti e utenti interni sulle loro frustrazioni, e le lamentele corrispondevano ai limiti degli strumenti open source testati. Il primo problema riguarda la durata: molti allineatori funzionano bene su estratti di circa 30 secondi, ma i file più lunghi devono essere suddivisi. Ogni pezzo può aggiungere un piccolo errore di sincronizzazione, e il raccordo dei segmenti può aggiungerne altri.
Su registrazioni complete, l’errore medio di Cue è di 179 millisecondi, contro 283 ms a oltre 6.000 ms per gli strumenti open source. Le condizioni reali complicano ulteriormente il compito. Rumore di fondo, voci sovrapposte e musica d’ambiente fanno perdere i riferimenti a molti strumenti, mentre sono proprio i file che molti utenti vogliono trascrivere. Su registrazioni inglesi che presentano questo tipo di difetti, l’errore medio di Cue raggiunge 57 ms, contro 65 ms a 920 ms per gli altri.
La copertura linguistica pone anche interrogativi. La maggior parte degli allineatori open source richiede un modello distinto per ogni lingua, così le lingue con pochi dati di addestramento sono trattate meno bene, o non sono supportate. MMS-FA è l’unico altro strumento a coprire le 29 lingue del benchmark, e Cue si è generalmente dimostrato più veloce nel determinare i confini tra le parole.
La velocità conta anche, perché allineare grandi volumi audio può diventare rapidamente costoso. Secondo ElevenLabs, Cue allinea un’ora di audio in circa mezzo secondo sulla sua GPU di produzione, un processore grafico. Il secondo strumento più veloce, Qwen3-ForcedAligner, impiega quasi 2 secondi, e il più lento ha superato il minuto.
Canzoni allineate
La musica è un esercizio difficile, perché il canto allunga e confonde le parole. Cue ha tuttavia elaborato un sottoinsieme di canzoni del dataset JamendoLyrics MultiLang, sotto licenza Creative Commons, in inglese, francese, spagnolo e tedesco, in un’unica passata. Ha posizionato il 92,7% delle parole a meno di 0,3 secondi dal riferimento, contro l’82,0% dello strumento successivo. Il suo errore medio sull’inizio delle parole è di 0,82 secondi, circa la metà di quello del concorrente più vicino. Ha superato tutti gli altri strumenti su almeno 19 delle 22 canzoni.
Cue è stato distribuito rapidamente, e un cliente ha segnalato che il georgiano e alcune altre lingue con poche risorse davano risultati peggiori del previsto. ElevenLabs afferma di aver identificato il problema, condotto ricerche sui possibili miglioramenti, addestrato una nuova versione e di averla pubblicata in meno di 24 ore dalla prima segnalazione.
Cue è già utilizzato per tutte le trascrizioni Speech to Text di ElevenLabs. Per impiegarlo direttamente, l’azienda rimanda alla sua Forced Alignment API.
