تطلق ElevenLabs نموذجين لنسخ الكلام: Scribe v3 للتسجيلات، وScribe v3 Live للوقت الحقيقي. وفقًا للشركة، ينتج Scribe v3 أخطاء كلمات أقل بنسبة 27% مقارنة بـScribe v2 عبر 102 لغة، وينتج Scribe v3 Live أخطاء أقل بنسبة 43% مقارنة بـScribe v2 Realtime.
يُعد النسخ أساسًا للعديد من المنتجات الصوتية: محاضر الاجتماعات، والوكلاء الصوتيين، والدبلجة، والتوثيق السريري، أو أرشيفات البث. أي خطأ يحدث في هذه المرحلة ينتشر عبر السلسلة بأكملها، حيث يصبح تصحيحه أكثر تكلفة بكثير. ومع ذلك، نادرًا ما يكون الصوت الفعلي نظيفًا. يتحدث عدة أشخاص في وقت واحد، أو يتردد عميل في منتصف جملة، أو تتضمن مكالمة طرفين لا يتحدثان لغتهما الأم.
متطلبات شكلت Scribe v3
لقد خدم Scribe بالفعل في نسخ « مئات الملايين من الساعات » لتطبيقات تدوين الملاحظات، ومراكز الاتصال، وأدوات التوثيق السريري، والوكلاء الصوتيين. وفقًا لـElevenLabs، طالبت الفرق التي تستخدمه بخمس تحسينات. أرادت تطبيقات الاجتماعات تحسينًا في تحديد المتحدثين في التبادلات السريعة وفي المحادثات التي تضم ثلاثة أشخاص أو أكثر. أشارت فرق الوكلاء الصوتيين إلى أن مؤقت الصمت يقطع كلمة المتصلين عندما يتوقفون مؤقتًا. طالب آخرون بمستوى دقة أقرب إلى ذلك الخاص بالمعالجة المؤجلة. أراد العملاء في الهند أن يكون Hindi موثوقًا مثل الإنجليزية، بما في ذلك عندما ينتقل المتحدثون من لغة إلى أخرى في منتصف الجملة. أخيرًا، أراد الكثيرون المزيد من التحكم في التنسيق، من كتابة الأرقام بالأرقام إلى قوائم المصطلحات الطويلة بما يكفي لفهرس المنتجات.
يُرتكب Scribe v3 أخطاء في التجزئة الزمنية للمتحدثين أقل بنسبة 17% من Scribe v2 على التسجيلات التي تضم ثلاثة متحدثين أو أكثر، وهي حالات تفشل فيها معظم النماذج الحالية وفقًا للشركة. تشير التجزئة الزمنية للمتحدثين إلى تحديد من يتحدث في كل لحظة. يقدم Scribe v3 Live هذه الوظيفة في الوقت الحقيقي ويظهر أخطاء في التجزئة الزمنية للمتحدثين أقل بنسبة 39% من أفضل النماذج الأخرى للوقت الحقيقي التي تم اختبارها.
فيما يتعلق بكشف أدوار الكلام، تعتمد الأنظمة التقليدية على فترات الصمت. قد يؤدي العتبة القصيرة إلى قطع الأشخاص الذين يتوقفون مؤقتًا في منتصف جملة، بينما تعطي العتبة الطويلة انطباعًا بالبطء. يعتمد Scribe v3 Live أيضًا على سياق المحادثة، بحيث لا يتم قطع المتصل الذي يتوقف في منتصف رقم. يُستخدم هذا الكشف بالفعل في ElevenAgents وهو متاح الآن في واجهة برمجة التطبيقات.
يمكن للنموذج أيضًا تخمين اللغات المحتمل ظهورها في تسجيل واختيار عرض الأرقام كأرقام أو كتابة. يقبل « التلميح بالمصطلحات الرئيسية » ما يصل إلى 1000 مصطلح متوقع، مثل أسماء العلامات التجارية، أو الاختصارات، أو المصطلحات الخاصة، بينما تحتوي مكتبة المصطلحات الرئيسية، المخصصة لـScribe v3 Live، على الآلاف ولا تبحث فيها إلا عندما تسمع تطابقًا محتملًا. يمكن أيضًا تطبيق قواعد التنسيق، المكتوبة باللغة الإنجليزية العادية، على سبيل المثال لكتابة كل تاريخ بالتنسيق AAAA-MM-JJ.
نتائج قيست على مجموعات بيانات متعددة
قارنت ElevenLabs نماذجها بـScribe v2، وScribe v2 Realtime، ونماذج شائعة أخرى، على نفس مجموعات البيانات. تم تقييم الدقة متعددة اللغات على نسخة داخلية من معيار FLEURS، الذي يختبر القراءة القصيرة والنظيفة في 102 لغة. لا يسمح هذا المعيار بقياس التجزئة الزمنية للمتحدثين، لأن كل مقطع يحتوي على متحدث واحد فقط. لذلك أنشأت الشركة مجموعة البيانات الخاصة بها، المكونة من اجتماعات، ومكالمات، وملاحظات صوتية فعلية بـ16 لغة، والتي أعلنت عن نيتها نشرها كمصدر مفتوح قريبًا.
على FLEURS، يقلل Scribe v3 معدل خطأ الكلمات (WER) بنسبة 27% مقارنة بـScribe v2، مع تحسن في كل لغة تم اختبارها. تبلغ المكاسب 42% في الألمانية، و35% في الإسبانية، و23% في الإنجليزية، وتصل إلى 34% في السواحيلية، و29% في التاميلية، و28% في التايلاندية. بالنسبة لـScribe v3 Live، تعلن ElevenLabs عن انخفاض بنسبة 43% في معدل الخطأ الدلالي، الذي يحسب الخطأ فقط عندما يتغير المعنى، وانخفاض بنسبة 31% في WER مقارنة بـScribe v2 Realtime. تتحسن اليونانية بنسبة 77%، والدانماركية بنسبة 54%، والكرواتية بنسبة 45%.
في ElevenAgents، مثال Eneco
تعمل Eneco، التي تزود أكثر من 2 مليون منزل وشركة في هولندا بالطاقة، وكيلها الصوتي على ElevenAgents واختبرت Scribe v3 Live قبل إطلاقه. خلال المكالمات الفعلية، تعرف الوكيل على الرموز البريدية الهولندية من المحاولة الأولى بنسبة 40% أكثر، وعلى أرقام المنازل بنسبة 15% أكثر. قال Ruud Huigsloot، مدير المنتجات الأول في Eneco: « ElevenLabs شريك حقيقي لـEneco. مع مهندسيهم الموجودين في الموقع، نعمل على تحسين وكيلنا الصوتي أكثر. »
يعمل Scribe v3 وScribe v3 Live افتراضيًا في الولايات المتحدة ويتم تقديمهما في بيئات معزولة في الاتحاد الأوروبي، والهند، وسنغافورة، للشركات الخاضعة لمتطلبات إقامة البيانات. يزيل وضع Zero Retention الصوت والنص بمجرد انتهاء الطلب. يغطي كلا النموذجين برامج SOC 2، وISO 27001، وPCI DSS Level 1، وهما مؤهلان لـHIPAA. تنتقل التكاملات الحالية إلى Scribe v3 عن طريق استبدال معرف النموذج بـscribe_v3 أو scribe_v3_live. كما يتم تقديم نسخة من Scribe v3 Live محسنة للمحادثات الطبية في ElevenAgents.
