يمكن لعامل ذكاء اصطناعي أن ينتج ردًا مقنعًا وينفذ إجراءً لم يكلفه به أحد حقًا. وفقًا للتحليل المنشور هنا، فإن الحد الفاصل بين القدرة التقنية والصلاحية المفوضة هو الذي يجب أن يصبح محورًا رئيسيًا في حوكمة الذكاء الاصطناعي.
يضرب المؤلف مثالًا افتراضيًا لشركة تكلف عاملًا بتحليل شكاوى العملاء. ولتسريع المعالجة، تمنحه حق الوصول إلى نظام إدارة علاقات العملاء لديها، ثم إلى أداة استرداد الأموال. يوصي العامل أولاً بإجراءات تجارية، ثم ينفذها ضمن الحدود التقنية لصلاحيات وصوله. ومع ذلك، فإن القدرة على إطلاق دفعة لا تعني الحصول على تفويض لاتخاذ قرار بهذه الدفعة.
جودة الردود لا تكفي لحوكمة الفعل
تقييم النموذج وتقييم صلاحيته يجيبان على سؤالين مختلفين. الأول يتعلق بملاءمة أو دقة النتيجة، والثاني يتعلق بشرعية الفعل في موقف معين. قد تتجاوز التوصية الدقيقة تفويض العامل، بينما قد تبقى التوصية غير المؤكدة دون عواقب إذا تم تنظيم تنفيذها بشكل صحيح.
بالنسبة للإدارة العامة أو قسم تكنولوجيا المعلومات، تصبح المسألة عملية: ما القرارات التي يمكن للنظام اتخاذها، وبأي وسائل، وباسم من، وإلى أي مدى؟ تشكل قائمة الأدوات المسموح بها بداية، لكنها لا تحدد شروط الاستخدام المقبولة. قد يخدم الوصول إلى نظام إدارة علاقات العملاء في استشارة ملف، أو تعديل بيانات، أو تصدير جهات اتصال. هذه العمليات لا تحمل نفس الغاية ولا نفس العواقب، ويجب أن تربطها الحوكمة بتفويض صريح.
يتم بناء تآكل الرقابة عبر التسلسلات
يتحدث المؤلف عن تآكل الرقابة عندما تنخفض القدرة الفعلية للمسؤولين على فهم وتقييم وتصحيح الأفعال مع سير عمل النظام. يجمع عامل المعلومات، ويقوم عامل ثان بتلخيصها، ويعد عامل ثالث قرارًا، وينفذه عامل رابع. قد يلتزم كل منهم بدوره المباشر، بينما قد ينتج الكل نتيجة لم يتصورها المسؤول الأولي. تتحول الفرضية إلى بيانات عمل، ثم تتحول هذه البيانات إلى مبرر، ثم يؤدي المبرر إلى إجراء.
قد تظل الانحراف في الصلاحية خفية. تظهر عندما يوسع النظام فعليًا نطاقه، على سبيل المثال بتحويل تعليمات التحليل إلى إذن بالتنفيذ. لذا فإن مستوى المراقبة المناسب هو السلسلة التي تربط التفويض البشري بالنتيجة النهائية. لا تكفي وجود زر موافقة لإقامة رقابة فعالة: يجب أن يمتلك المشرف معلومات مفهومة، ووقتًا كافيًا، ووسائل تدخل مناسبة. في مثال استرداد الأموال، يجب أن تتم الموافقة قبل العملية وأن تعرض المبلغ، والسبب، والشكوك، والقاعدة المطبقة.
تنظيم رقابة قابلة للتحقق
يطرح المؤلف خمسة متطلبات. أولاً، صياغة التفويض: الهدف، والنطاق، والمدة، والأفعال المستثناة، لأن « معالجة الشكاوى » واسع جدًا إذا لم تحدد القرارات المسموح بها. ثانيًا، مطابقة الصلاحيات مع التفويض، بتقييد الوصول إلى العمليات الضرورية فقط وإمكانية سحبها عند انتهاء المهمة. يجب أيضًا وضع ضوابط قبل العواقب التي يصعب تصحيحها، على سبيل المثال عن طريق حد للمبلغ أو تغيير المستلم. ثم يأتي حفظ سجل قابل للاستخدام، متناسب وحامي للبيانات. أخيرًا، يجب اختبار القدرة على استعادة السيطرة، لأن بعض العواقب لا يمكن الرجوع عنها، لذا يجب تقييم إمكانية إيقاف النظام قبل النشر.
قد تصبح قواعد الإشراف نفسها غير ملائمة عندما يتغير الحجم أو الأدوات أو المسؤوليات. قد يجعل محرك قواعد حتمي بعض عمليات التحقق قابلة للتكرار، دون ضمان جودة الحقائق المستلمة أو ملاءمة القواعد. قبل توسيع استقلالية العامل، يجب أن يتمكن صناع القرار من إثبات من أعطاه الحق في التصرف، وفي أي حدود، وكيفية استعادة السيطرة.
