يُثري Open ASR Leaderboard، وهو تصنيف لأنظمة التعرف التلقائي على الكلام (ASR)، بياناته ببيانات خاصة بفضل شراكة جديدة مع Liva AI. تضيف هذه الشراكة لهجتين، المصرية والنيجيرية، وتتيح عرضًا أكثر تفصيلًا للنتائج حسب اللهجات.
قبل بضعة أشهر، كان التصنيف قد دمج بالفعل بيانات خاصة: 11 مجموعة بيانات منفصلة، مقدمة من Appen وDataOceanAI، تغطي الكلام المنظم والمحادثة في خمس لهجات. كانت ردود فعل المجتمع عديدة، حيث أشار العديد إلى أهمية مجموعات الاختبار المحجوزة، المسماة « held-out »، والتي تتيح تقييم النماذج على بيانات لم تُستخدم في تدريبها. ثم أُضيفت مجموعة إضافية مخصصة للهجة الإنجليزية الهندية مع Voice Arena.
لهجتان جديدتان: مصرية ونيجيرية
تجلب الشراكة مع Liva AI مجموعتي بيانات خاصتين جديدتين. الأولى، Liva AI Conversational EG، تمثل اللهجة المصرية على 1.34 ساعة من التسجيلات. الثانية، Liva AI Conversational NG، تغطي اللهجة النيجيرية على 1.55 ساعة. كلتاهما تنتميان إلى الكلام المحادثي والعفوي، مع نسخ يشمل علامات الترقيم، وحروف كبيرة وصغيرة، ويحتفظ بالاضطرابات الكلامية، أي الترددات والتكرارات والتصحيحات الخاصة بالكلام المنطوق.
وفقًا لـ Hugging Face، يأتي هذا الإضافة في إطار جهد مستمر لتمثيل اللهجات واللغات بشكل أفضل في التقييمات، ولتعزيز الثقة في النتائج. يجب أن تقلل البيانات الخاصة الجديدة من مخاطر « benchmaxxing »، أي تحسين نموذج لاختبارات معروفة، مع توسيع عدد مزودي البيانات.
تقسيم وفقًا لدوائر كاشرو الثلاث
مع هذه اللهجات الجديدة، يمكن للتقييم تقديم تقسيم أكثر دقة، يستند إلى دوائر كاشرو الثلاث، وهو نموذج يصنف استخدامات اللغة الإنجليزية في العالم. تم استعارة الفكرة من صفحة تصنيف Hume AI، التي يشكر Hugging Face عليها صراحة.
سيُظهر Open ASR Leaderboard الآن تقسيمين. الأول يقارن بين اللهجات الأمريكية واللهجات غير الأمريكية، الممثلة بالمملكة المتحدة وأستراليا وكندا والهند ونيجيريا ومصر. الثاني يميز بين الدائرة الداخلية، التي تضم الولايات المتحدة والمملكة المتحدة وأستراليا وكندا، والدائرة الخارجية ودائرة التوسع، التي تشمل الهند ونيجيريا ومصر. تشير Hugging Face إلى أنها ستفصل هاتين الدائرتين الأخيرتين مع إضافة لهجات جديدة.
من هي Liva AI
تجمع Liva AI بيانات تفاعل متعددة الوسائط عبر منتجات استهلاكية يستخدمها أشخاص حقيقيون. لأن الشركة تتحكم في بيئة الجمع وتوزيع منتجاتها، يمكنها، وفقًا للعرض المقدم عنها، تصميم منتجات بناءً على فجوات النماذج، في مجالات وقطاعات ولغات ووسائط وأنواع تفاعل مختلفة. يوضح مدونة Hugging Face أن هذه البيانات تعكس سلوكًا طبيعيًا وغنيًا بالسياق، ناتجًا عن الاستخدام الفعلي للمنتجات، وليس عن تفاعلات مستحثة اصطناعيًا أو مرتبطة بمهمة محددة.
