ElevenLabs lanceert twee spraaktranscriptiemodellen: Scribe v3, voor opnamen, en Scribe v3 Live, voor realtime. Volgens het bedrijf produceert Scribe v3 27% minder woordfouten dan Scribe v2 in 102 talen, en Scribe v3 Live produceert er 43% minder dan Scribe v2 Realtime.
- ElevenLabs lanceert Scribe v3 voor opnamen en Scribe v3 Live voor realtime transcriptie.
- Scribe v3 maakt 27% minder woordfouten dan Scribe v2, en Scribe v3 Live 43% minder dan Scribe v2 Realtime.
- De modellen identificeren sprekers beter en onderbreken bellers minder snel midden in een zin.
- Eneco herkent Nederlandse postcodes 40% vaker correct met Scribe v3 Live in ElevenAgents.
Transcriptie is de basis van veel audiogebaseerde producten: vergadernotulen, stemassistenten, nasynchronisatie, klinische documentatie of uitzendarchieven. Een fout op dit niveau werkt door in de hele keten, waar het veel duurder is om te corrigeren. Maar echte audio is zelden perfect. Meerdere personen spreken door elkaar, een klant aarzelt midden in een zin, of een gesprek vindt plaats tussen twee gesprekspartners die niet hun moedertaal spreken.
Vragen die Scribe v3 hebben gevormd
Scribe is al gebruikt om ‘honderden miljoenen uren’ te transcriberen voor notitie-apps, contactcentra, tools voor klinische documentatie en stemassistenten. Volgens ElevenLabs vroegen de teams die het gebruiken om vijf verbeteringen. Vergaderapps wilden een betere identificatie van sprekers in snelle gesprekken en gesprekken met drie of meer personen. Teams van stemassistenten meldden dat een stilte-timer de beller afkapt wanneer ze een pauze nemen. Anderen vroegen om een nauwkeurigheidsniveau dichter bij dat van batchverwerking. Indiase klanten wilden een Hindi die even betrouwbaar is als Engels, ook wanneer bellers midden in een zin van taal wisselen. Ten slotte wilden velen meer controle over de opmaak, van getallen in cijfers tot lijsten met termen die lang genoeg zijn voor een productcatalogus.
Scribe v3 maakt 17% minder diarisatiefouten dan Scribe v2 bij opnamen met drie of meer sprekers, gevallen waarin volgens het bedrijf de meeste bestaande modellen falen. Diarisatie verwijst naar de identificatie van wie op welk moment spreekt. Scribe v3 Live introduceert deze functie in realtime en vertoont 39% minder diarisatiefouten dan het beste andere geteste realtime model.
Voor de detectie van spreekbeurten vertrouwen klassieke systemen op stiltes. Een korte drempel riskeert personen af te kappen die midden in een zin pauzeren, terwijl een lange drempel een trage indruk geeft. Scribe v3 Live maakt ook gebruik van de context van het gesprek, zodat een beller die midden in een nummer aarzelt niet wordt afgekapt. Deze detectie wordt al gebruikt in ElevenAgents en is nu beschikbaar in de API.
Het model kan ook talen raden die waarschijnlijk in een opname voorkomen en kiezen om getallen in cijfers of letters weer te geven. De ‘keyterm prompting’ accepteert tot 1000 verwachte termen, zoals merknamen, acroniemen of jargon, terwijl de bibliotheek met sleuteltermen, voorbehouden aan Scribe v3 Live, er duizenden bevat en deze alleen raadpleegt wanneer het een waarschijnlijke match hoort. Opmaakregels, geschreven in gewoon Engels, kunnen ook worden toegepast, bijvoorbeeld om elke datum in het formaat JJJJ-MM-DD te schrijven.
Resultaten gemeten op meerdere datasets
ElevenLabs heeft zijn modellen vergeleken met Scribe v2, Scribe v2 Realtime en andere populaire modellen, op dezelfde datasets. De meertalige nauwkeurigheid werd geëvalueerd op een interne versie van het FLEURS-benchmark, die korte en nette voorlezing in 102 talen test. Deze benchmark laat geen meting van diarisatie toe, omdat elk fragment slechts één spreker bevat. Het bedrijf heeft daarom zijn eigen dataset samengesteld, bestaande uit echte vergaderingen, gesprekken en spraaknotities in 16 talen, die het naar eigen zeggen binnenkort open source wil publiceren.
Op FLEURS vermindert Scribe v3 het woordfoutenpercentage (WER) met 27% ten opzichte van Scribe v2, met een verbetering in elke geteste taal. De winst is 42% in het Duits, 35% in het Spaans en 23% in het Engels, en loopt op tot 34% in het Swahili, 29% in het Tamil en 28% in het Thai. Voor Scribe v3 Live kondigt ElevenLabs een daling van 43% aan in het semantische foutenpercentage, dat alleen een fout telt wanneer de betekenis verandert, en van 31% in het WER ten opzichte van Scribe v2 Realtime. Het Grieks verbetert met 77%, het Deens met 54% en het Kroatisch met 45%.
In ElevenAgents, het voorbeeld van Eneco
Eneco, dat energie levert aan meer dan 2 miljoen huishoudens en bedrijven in Nederland, laat zijn stemassistent draaien op ElevenAgents en heeft Scribe v3 Live getest vóór de lancering. Tijdens echte gesprekken herkende de assistent Nederlandse postcodes in één keer 40% vaker, en huisnummers 15% vaker. Ruud Huigsloot, Senior Product Manager bij Eneco, zei: « ElevenLabs is een echte partner voor Eneco. Met hun ingenieurs ter plaatse werken we samen om onze stemassistent verder te verbeteren. »
Scribe v3 en Scribe v3 Live werken standaard in de Verenigde Staten en worden aangeboden in geïsoleerde omgevingen in de Europese Unie, India en Singapore, voor bedrijven die onderworpen zijn aan gegevenslokalisatie-eisen. De Zero Retention-modus verwijdert audio en tekst direct na afloop van een verzoek. Beide modellen zijn gedekt door de SOC 2-, ISO 27001- en PCI DSS Level 1-programma’s, en komen in aanmerking voor HIPAA. Bestaande integraties schakelen over naar Scribe v3 door de model-ID te vervangen door scribe_v3 of scribe_v3_live. Een versie van Scribe v3 Live geoptimaliseerd voor medische gesprekken is ook beschikbaar in ElevenAgents.
