The AI / news

كيفية تقييم وكلاء الذكاء الاصطناعي في المؤسسات

كيفية تقييم وكلاء الذكاء الاصطناعي في المؤسسات
3 دقيقة للقراءة

قد يفشل وكيل ذكاء اصطناعي يبدو مبهرًا في العرض التوضيحي بمجرد مواجهته لمستخدمين حقيقيين وبيانات حقيقية. في دليل نُشر بواسطة Analytics Vidhya، يُعرض تقييم هذه الأنظمة كمنهجية من خمس طبقات، تبدأ من التحقق من النتيجة النهائية وصولاً إلى المراقبة أثناء التشغيل.

وفقًا للدليل، قد يختار الوكيل الأداة الخاطئة، أو يدور في حلقة مفرغة حول واجهة برمجة تطبيقات (API) فاشلة، أو يكشف عن بيانات لا ينبغي له رؤيتها، أو يختلق رقمًا في تقرير. تقييم الوكيل يختلف عن تقييم نموذج اللغة، لأن كل خطوة بين الهدف والنتيجة قد تفشل.

تحديد معنى « النجاح »

قبل كتابة أي اختبار، يوصي الدليل بتحديد معيار النجاح. ويقترح الإجابة على أربعة أسئلة: ما هي المهمة، وما الذي يُعتبر إنجازًا لها، وما الذي لا يجب أن يحدث أبدًا، وما هي تكلفة الخطأ. إجابة خاطئة في قسم الأسئلة الشائعة الداخلي تكلفتها قليلة، بينما إجراء خاطئ في وكيل دفع ليس كذلك.

هذه التكلفة تحدد مستوى المتطلبات. يمكن نشر وكيل منخفض المخاطر مع تحقيق 90% من المهام بنجاح، مع مراجعة الحالات الأخرى بواسطة إنسان. قد يتطلب وكيل عالي المخاطر تحقيق 99% وأكثر في المسارات الحرجة، بالإضافة إلى منع صارم لإجراءات معينة، بغض النظر عن رغبة النموذج.

خمس طبقات للتحقق منها

الطبقة الأولى تتعلق بالنتيجة: هل أنجز الوكيل المهمة؟ ينصح الدليل بالتحقق من الحالة الفعلية، مثل التقويم، بدلاً من تصريح الوكيل. الثانية تتعلق بالمسار، أي سلسلة الإجراءات. قد يصل وكيلان إلى نفس الإجابة، أحدهما في أربع خطوات والآخر في 19 خطوة، وعدد الخطوات وحده لا يكفي للتفريق بينهما. عندها يتم فحص الحلقات، واختيار الأدوات، وصحة المعاملات، وكيفية تعافي الوكيل من خطأ.

الطبقة الثالثة تعزل المكونات المعيبة: المخطط، واسترجاع المستندات، والأدوات، والذاكرة، وتوليد الرد. بالنسبة لنظام توليد معزز بالاسترجاع (RAG)، الذي يعتمد على مستندات خارجية، يذكر الدليل مقاييس recall@k و precision@k. الطبقة الرابعة تتعلق بالأمان: حقن تعليمات خبيثة في مستند يقرأه الوكيل، وتسريب البيانات، ومراعاة صلاحيات الوصول وقواعد المؤسسة، ومعالجة البيانات الشخصية. يؤكد الدليل على نقطة: يجب تطبيق الأذونات في الكود، خارج النموذج، ولا تعتمد أبدًا على التوجيه (prompt) وحده. الطبقة الخامسة تشغيلية: زمن الوصول، والتكلفة لكل مهمة، والموثوقية، والأداء تحت الحمل.

القضاة، البشر، والمقاييس

لتقييم النتائج، يميز الدليل بين ثلاث طرق: الضوابط المبرمجة، و »نموذج اللغة كقاضٍ » (LLM-as-judge)، حيث يقيم نموذج لغة الرد وفق شبكة معايير، والمراجعة البشرية. القضاة الآليون لديهم تحيزات معروفة، مثل تفضيل الرد الأول في المقارنة أو الرد الأطول.

مقاييس الموثوقية تميز بين مؤشرين. الـ pass@k هو احتمال نجاح محاولة واحدة على الأقل من بين k محاولة، بينما الـ pass^k هو احتمال نجاح جميع المحاولات. في مثال الدليل، مع معدل نجاح 80% لكل محاولة (بافتراض الاستقلالية)، فإن احتمال نجاح محاولة واحدة على الأقل من بين خمس محاولات هو حوالي 99.97%، مقابل حوالي 32.8% لنجاح جميع المحاولات الخمس. يوصي الدليل أخيرًا بمراجعة حالات الفشل أسبوعيًا وإضافة كل حالة جديدة إلى مجموعة الاختبار.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x