تطرح وكلاء الذكاء الاصطناعي مشكلات لا يطرحها الذكاء الاصطناعي التوليدي وحده، وبالتالي تصبح مراقبتهم أثناء عملهم أكثر صعوبة وأهمية في آن واحد. قام باحثون من الأوساط الأكاديمية والمجتمع المدني والصناعة بفحص الإشارات الصادرة عن أربعة أطر عمل للوكلاء الأكثر استخداماً، ووجدوا فيها ثغرات كبيرة.
على عكس نظام الذكاء الاصطناعي التوليدي، الذي ينتج رداً واحداً يجب على الإنسان بعد ذلك التعامل معه، فإن الوكيل ينفذ سلسلة من المهام الأطول: فهو يخطط، ويختار الأدوات، وينشئ وكلاء فرعين، وينفذ إجراءات. بالإضافة إلى ذلك، يعتمد الوكيل على نماذج اللغة الكبيرة (LLM)، التي يرث منها عدم القدرة على التنبؤ. لذلك يمكن أن يتخذ مساره أشكالاً متنوعة للغاية، ولا يسمح أي اختبار يتم إجراؤه قبل الإطلاق بتوقع المخاطر بشكل كامل.
وفقاً للمؤلفين، لا تسمح هذه الأطر بسهولة بتحديد انتهاكات القواعد، أو الإجراءات غير المصرح بها، أو إخفاقات الإشراف البشري. تفتقد عدة عناصر ضرورية للمراقبة، مثل معرفات الوكلاء الثابتة عبر الزمن، أو السجلات التي توضح أي البشر وافقوا على مهمة معينة. في هذه الظروف، يصبح من الصعب معرفة أي وكيل فعل ماذا والتحقق مما إذا كان قد تصرف دون إذن.
نوعان من الآثار
يعتقد الباحثون أنه يمكن سد هذه الثغرات، بشرط البدء بتسجيل نوعين من الآثار. النوع الأول يصف ما حدث أثناء التنفيذ: فهو يحدد الوكيل مع الحفاظ على الخصوصية، ويسجل التدخلات البشرية، ويشير إلى ما إذا كانت أذونات الوكيل أو «ذاكرته» قد تغيرت. النوع الثاني يتعلق بالقرارات: فهو يتتبع منطق الوكيل ومستوى ثقته في الإجراءات التي نفذها.
يأخذ المؤلفون مثالاً لوكلاء مكلفين بمعالجة طلبات القروض العقارية في بنك. يفحص النظام الملف ويوصي برفضه، ثم يقوم مستشار بشري بالتحقق من القرار. أثناء تدقيق لاحق، أو حتى في الوقت الفعلي، يجب أن يكون البنك أو الجهة التنظيمية قادراً على معرفة أي وكيل اتخذ القرار، وأي مستشار وافق عليه، وكم من الوقت استغرق ذلك. يجب على البنك أيضاً تحليل كيفية وصول الوكيل إلى قرار الرفض، للتأكد من أنه لم يستخدم معلومات محظورة، مثل بيانات عن حي مقدم الطلب الأصلي.
وفقاً للمقال، فإن تسجيل «ما حدث» و«كيف قرر الوكيل» يتطلب نهجين مختلفين، لكن كليهما قابل للتحقيق. إن غياب آثار النوع الأول حالياً يعود في الغالب إلى البنية التحتية البرمجية. يمكن معالجته باستخدام OpenTelemetry، وهو معيار مفتوح للمراقبة، يتم الحفاظ عليه من قبل مهندسين من جميع أنحاء الصناعة ويتم اعتماده تدريجياً من قبل أطر عمل الوكلاء.
معيار لا يزال قيد الإنشاء
أطلق OpenTelemetry مجموعة عمل مكلفة بصياغة تنسيقات مشتركة لتتبع الوكلاء، لكن هذه التنسيقات لم يتم الانتهاء منها بعد. وفقاً للمؤلفين، يجب على هذه المجموعة أن تدمج بشكل عاجل معايير لثبات هوية الوكلاء، وكذلك لتسجيل التدخلات البشرية وتغييرات الأذونات أو الذاكرة. يجب إكمال هذا العمل قبل نشر هذه الأنظمة على نطاق واسع. كما يجب أن يأخذ في الاعتبار الآثار المترتبة على خصوصية معرف الوكيل المرتبط بأشخاص حقيقيين.
