ElevenLabs stelt Cue voor, een geforceerd aligneermodel dat elk karakter van een audiobestand op een precieze tijdlijn plaatst. Volgens het bedrijf is het nauwkeuriger dan alle aligneerders die op echte opnames zijn getest, in de 29 talen van de benchmark. Het voedt al de familie van Scribe-modellen, het transcriptiemodel van ElevenLabs.
Elke kijker kent het effect van een ondertitel die een seconde te laat arriveert: de scène verliest aan samenhang. Video’s en software die gebruikmaken van stemmodellen hebben hetzelfde probleem, wanneer een transcriptie het verkeerde woord markeert. Geforceerde alignering bestaat uit het koppelen van elk woord van een transcriptie aan het exacte moment waarop het wordt uitgesproken. Het moet niet worden verward met de alignment van AI, die ernaar streeft het gedrag van systemen af te stemmen op menselijke waarden en voorkeuren. Hier gaat het puur om het laten overeenkomen van tekst en geluid.
Danila Kozlov, onderzoeker bij ElevenLabs en werkzaam aan alignment, legt de moeilijkheid uit: «Mensen zijn vrij goed in het aligneren van media, tenminste op woordniveau. We hebben vaak een intuïtief idee van waar een woord begint, maar op karakterniveau en met een nauwkeurigheid van minder dan een milliseconde is het veel moeilijker.»
Beperkingen voor klassieke aligneerders
Voor Cue gebruikte het bedrijf een aligneerder die al zijn producten uitrustte. Het team vroeg klanten en interne gebruikers naar hun frustraties, en de klachten kwamen overeen met de beperkingen van de geteste open-source tools. Het eerste probleem betreft de duur: veel aligneerders werken goed op fragmenten van ongeveer 30 seconden, maar langere bestanden moeten worden opgeknipt. Elk stuk kan een kleine synchronisatiefout toevoegen, en het aaneenschakelen van segmenten kan er nog meer toevoegen.
Op volledige opnames is de gemiddelde fout van Cue 179 milliseconden, tegenover 283 ms tot meer dan 6000 ms voor de open-source tools. Reële omstandigheden maken de taak nog moeilijker. Achtergrondgeluid, overlappende stemmen en achtergrondmuziek doen veel tools de weg kwijtraken, terwijl dat juist de bestanden zijn die veel gebruikers willen transcriberen. Op Engelse opnames met dit soort gebreken bereikt de gemiddelde fout van Cue 57 ms, tegenover 65 ms tot 920 ms voor de anderen.
De taaldekking roept ook vragen op. De meeste open-source aligneerders vragen een apart model voor elke taal, waardoor talen met weinig trainingsdata minder goed worden behandeld, of niet worden ondersteund. MMS-FA is de enige andere tool die de 29 talen van de benchmark dekt, en Cue bleek over het algemeen sneller in het bepalen van de grenzen tussen woorden.
Snelheid telt ook, want het aligneren van grote hoeveelheden audio kan snel duur worden. Volgens ElevenLabs aligneert Cue een uur audio in ongeveer een halve seconde op zijn productie-GPU, een grafische processor. De op een na snelste tool, Qwen3-ForcedAligner, doet bijna 2 seconden, en de langste deed er meer dan een minuut over.
Uitgelijnde liedjes
Muziek is een moeilijke oefening, omdat zang woorden uitrekt en vertroebelt. Cue heeft echter een subset van liedjes uit de JamendoLyrics MultiLang-dataset, onder Creative Commons-licentie, in het Engels, Frans, Spaans en Duits, in één keer verwerkt. Het plaatste 92,7% van de woorden binnen 0,3 seconde van het referentiepunt, tegenover 82,0% voor de volgende tool. De gemiddelde fout op het begin van de woorden is 0,82 seconde, ongeveer de helft van die van de dichtstbijzijnde concurrent. Het overtrof alle andere tools op minstens 19 van de 22 liedjes.
Cue werd snel uitgerold, en een klant meldde dat Georgisch en enkele andere talen met weinig middelen minder goede resultaten gaven dan verwacht. ElevenLabs zegt het probleem te hebben geïdentificeerd, onderzoek te hebben gedaan naar mogelijke verbeteringen, een nieuwe versie te hebben getraind en deze binnen 24 uur na de eerste melding te hebben uitgebracht.
Cue wordt al gebruikt voor alle Speech to Text-transcripties van ElevenLabs. Om het direct te gebruiken, verwijst het bedrijf naar zijn Forced Alignment API.
