ElevenLabs bringt zwei Sprachtranskriptionsmodelle auf den Markt: Scribe v3 für Aufzeichnungen und Scribe v3 Live für Echtzeit. Laut Unternehmen produziert Scribe v3 27 % weniger Wortfehler als Scribe v2 in 102 Sprachen, und Scribe v3 Live produziert 43 % weniger als Scribe v2 Realtime.
- ElevenLabs veröffentlicht Scribe v3 für Aufnahmen und Scribe v3 Live für Echtzeit.
- Scribe v3 macht laut Unternehmen 27 % weniger Wortfehler als Scribe v2 in 102 Sprachen.
- Das Modell erkennt Sprecher bei drei oder mehr Personen besser und unterbricht Anrufer seltener.
- Eneco erkennt niederländische Postleitzahlen beim ersten Versuch 40 % häufiger.
Transkription ist die Grundlage vieler Audioprodukte: Besprechungsprotokolle, Sprachassistenten, Synchronisation, klinische Dokumentation oder Sendearchive. Ein Fehler in dieser Phase wirkt sich auf die gesamte Kette aus, wo er viel teurer zu korrigieren ist. Doch realer Audioinhalt ist selten sauber. Mehrere Personen sprechen gleichzeitig, ein Kunde zögert mitten im Satz, oder ein Anruf findet zwischen Gesprächspartnern statt, die nicht ihre Muttersprache sprechen.
Anforderungen, die Scribe v3 geprägt haben
Scribe wurde bereits eingesetzt, um « Hunderte von Millionen Stunden » für Notizanwendungen, Kontaktzentren, klinische Dokumentationstools und Sprachagenten zu transkribieren. Laut ElevenLabs forderten die Nutzerteams fünf Verbesserungen. Besprechungs-Apps wollten eine bessere Sprechererkennung in schnellen Gesprächen und bei drei oder mehr Personen. Teams von Sprachagenten meldeten, dass eine Stille-Timer-Anzeige Anrufer unterbricht, wenn sie eine Pause machen. Andere forderten ein Genauigkeitsniveau, das näher an der verzögerten Verarbeitung liegt. Indische Kunden wünschten sich ein Hindi, das so zuverlässig wie Englisch ist, auch wenn Anrufer mitten im Satz die Sprache wechseln. Schließlich wollten viele mehr Kontrolle über die Formatierung, von Zahlen in Ziffern bis hin zu Begriffslisten, die lang genug für einen Produktkatalog sind.
Scribe v3 macht 17 % weniger Diarisierungsfehler als Scribe v2 bei Aufnahmen mit drei oder mehr Sprechern, Fälle, bei denen laut Unternehmen die meisten bestehenden Modelle scheitern. Diarisierung bezeichnet die Identifizierung, wer zu welchem Zeitpunkt spricht. Scribe v3 Live führt diese Funktion in Echtzeit ein und zeigt 39 % weniger Diarisierungsfehler als das beste der getesteten anderen Echtzeitmodelle.
Für die Sprecherwechselerkennung verlassen sich klassische Systeme auf Stille. Eine kurze Schwelle riskiert, Personen abzuschneiden, die mitten im Satz eine Pause machen, während eine lange Schwelle einen langsamen Eindruck erweckt. Scribe v3 Live stützt sich auch auf den Kontext des Gesprächs, sodass ein Anrufer, der mitten in einer Zahlenfolge abbricht, nicht unterbrochen wird. Diese Erkennung wird bereits in ElevenAgents verwendet und ist nun in der API verfügbar.
Das Modell kann auch Sprachen erraten, die wahrscheinlich in einer Aufnahme vorkommen, und entscheiden, ob Zahlen in Ziffern oder Buchstaben ausgegeben werden. Das « Keyterm Prompting » akzeptiert bis zu 1.000 erwartete Begriffe wie Markennamen, Akronyme oder Fachjargon, während die Keyterm-Bibliothek, die Scribe v3 Live vorbehalten ist, Tausende enthält und sie nur konsultiert, wenn eine wahrscheinliche Übereinstimmung gehört wird. Formatierungsregeln, verfasst in einfachem Englisch, können ebenfalls angewendet werden, zum Beispiel um jedes Datum im Format JJJJ-MM-TT zu schreiben.
Ergebnisse gemessen an mehreren Datensätzen
ElevenLabs hat seine Modelle mit Scribe v2, Scribe v2 Realtime und anderen populären Modellen auf denselben Datensätzen verglichen. Die mehrsprachige Genauigkeit wurde an einer internen Version des FLEURS-Benchmarks bewertet, der kurze und saubere Leseproben in 102 Sprachen testet. Dieser Benchmark erlaubt keine Messung der Diarisierung, da jeder Ausschnitt nur einen Sprecher enthält. Das Unternehmen hat daher einen eigenen Datensatz erstellt, bestehend aus realen Besprechungen, Anrufen und Sprachnotizen in 16 Sprachen, den es demnächst Open Source veröffentlichen möchte.
Auf FLEURS reduziert Scribe v3 die Wortfehlerrate (WER) um 27 % im Vergleich zu Scribe v2, mit einer Verbesserung in jeder getesteten Sprache. Die Gewinne betragen 42 % in Deutsch, 35 % in Spanisch und 23 % in Englisch und erreichen 34 % in Swahili, 29 % in Tamil und 28 % in Thai. Für Scribe v3 Live meldet ElevenLabs einen Rückgang der semantischen Fehlerrate, die nur einen Fehler zählt, wenn sich die Bedeutung ändert, um 43 % und der WER um 31 % im Vergleich zu Scribe v2 Realtime. Griechisch verbessert sich um 77 %, Dänisch um 54 % und Kroatisch um 45 %.
In ElevenAgents, das Beispiel von Eneco
Eneco, das mehr als 2 Millionen Haushalte und Unternehmen in den Niederlanden mit Energie versorgt, betreibt seinen Sprachagenten auf ElevenAgents und hat Scribe v3 Live vor dem Launch getestet. Bei echten Anrufen erkannte der Agent niederländische Postleitzahlen beim ersten Versuch 40 % häufiger und Hausnummern 15 % häufiger. Ruud Huigsloot, Senior Product Manager bei Eneco, sagte: « ElevenLabs ist ein echter Partner für Eneco. Mit ihren Ingenieuren vor Ort arbeiten wir daran, unseren Sprachagenten weiter zu verbessern. »
Scribe v3 und Scribe v3 Live sind standardmäßig in den USA verfügbar und werden in isolierten Umgebungen in der Europäischen Union, Indien und Singapur für Unternehmen angeboten, die Datenresidenzanforderungen unterliegen. Der Zero-Retention-Modus löscht Audio und Text sofort nach Abschluss einer Anfrage. Beide Modelle sind durch SOC 2, ISO 27001 und PCI DSS Level 1 abgedeckt und für HIPAA geeignet. Bestehende Integrationen wechseln zu Scribe v3, indem die Modell-ID durch scribe_v3 oder scribe_v3_live ersetzt wird. Eine für medizinische Gespräche optimierte Version von Scribe v3 Live wird ebenfalls in ElevenAgents angeboten.
