بدون حوكمة مناسبة، فإن وكلاء الذكاء الاصطناعي معرضون للتحول، بشكل مستقل وغير مرئي وسريع، من أصول إلى كوارث للشركات. أعلنت شركة Sysdig عن Sysdig AI Defense، وهو منتج يجلب الأمان والحوكمة في وقت التشغيل (Runtime) لهؤلاء الوكلاء.
بالنسبة للوريس ديجيواني، مؤسس ورئيس قسم التكنولوجيا (CTO) في Sysdig، فإن الحاجة واضحة. « الذكاء الاصطناعي ينتقل من الرد إلى الفعل. كان هناك أولاً آلات للمحادثة. اليوم، الذكاء الاصطناعي الوكلائي يقوم بأشياء نيابة عنا »، كما يوضح.
تكمن المشكلة في قدرة هؤلاء الوكلاء على الذهاب إلى ما هو أبعد مما طُلب منهم، وبسرعة أكبر مما يمكن التحكم فيه. تبرز Sysdig ضرورة مراقبة ما يفعلونه باستمرار.
تتبع كل إجراء، حتى النهاية
وفقًا لـ Sysdig، فإن AI Defense يراقب ويتابع كل إجراء للوكيل، من نقطة انطلاقه حتى اكتماله. المهمة ليست بسيطة على الإطلاق. يمكن للوكيل اكتساب قدرات جديدة بسرعة أثناء سعيه لإنجاز مهمته. يمكن تسجيل كل إجراء، ولكن خلفه قد تختبئ خمس عمليات على الأقل، مرئية فقط لنواة نظام التشغيل، والتي تعدل عمل الوكيل بشكل خفي.
« الوكيل الذي يتم نشره في الصباح ليس دائمًا هو الذي يعمل في فترة ما بعد الظهر »، تحذر Sysdig، مضيفة أن « النواة وحدها هي التي تُظهر ما تم تنفيذه بالفعل ». إذا تطلب الأمان منع إجراء ما، فيجب أن تكون الاستجابة فورية. « نحتاج إلى حلول تعمل في وقت التشغيل، بسرعة كبيرة، ويمكنها أن تُطلق استجابة »، يؤكد لوريس ديجيواني. « يجب أن تحدث أي استجابة لمنع الإجراء في الوقت الفعلي، عبر الإنترنت، أثناء حدوث الإجراء وقبل اكتماله. »
بالنسبة للمسؤول، فإن التمييز بين ما يعلنه الوكيل وما يفعله هو أمر مركزي. « قد يبلغ الوكيل بشكل خاطئ عن استدعاء أداة، لكنه لا يستطيع إعادة كتابة تفاعلاته مع النظام أو العالم الخارجي »، كما يؤكد. « الرواية التي يقدمها الوكيل عن أفعاله هي سياق مفيد، لكنها ليست دليلاً. عندما لا يتطابق ما يبلغ عنه مع ما تظهره أفعاله، يكون لديك اكتشاف. »
جرد، سياسات، وإمكانية التتبع
تدعي Sysdig أن منتجها يوفر عدة وظائف متميزة. فهو ينشئ جردًا حيًا للوكلاء، وأدوات التحكم الخاصة بهم، والنماذج، وخوادم MCP، والمهارات، والامتدادات، مبنيًا من بيانات القياس عن بعد (Telemetry) وقت التشغيل. يمكن ربط كل وكيل بمسؤول بشري محدد.
يمكن اكتشاف الإجراءات الوكلائية التي تُعتبر محفوفة بالمخاطر، أو إخضاعها للتحقق البشري، أو منعها قبل إتمامها. يمكن للنماذج المسبقة للسياسات أن تعتمد قواعد مرتبطة بمراجع مثل OWASP Top 10 for LLM Applications. تبدأ كل سياسة في وضع التنبيه، ثم تنتقل إلى وضع التنفيذ عندما تكون المنظمة جاهزة لذلك.
يتم تسجيل إجراءات الوكيل وإجراءات AI Defense على الفور. يعرض رسم بياني حي للإجراءات كل خطوة بالترتيب، ويقارن بين ما يقول الوكيل إنه يفعله وما يفعله بالفعل، وما يمكنه الوصول إليه وبأي سلطة يعمل. والنتيجة، وفقًا للشركة، هي سجل تدقيق غير قابل للتغيير يوضح أي السياسات تم تطبيقها، ومتى، ومن وافق عليها.
يأتي الموضوع في سياق أوسع. يلاحظ معهد IBM للقيمة التجارية، في دراسة مخصصة لحوكمة الذكاء الاصطناعي الوكلائي، أن « عندما ينتقل وكلاء الذكاء الاصطناعي من المشاريع التجريبية إلى الإنتاج، تتخذ الأنظمة قرارات مستقلة بأحجام لا يمكن لأي حوكمة بشرية الإشراف عليها بشكل معقول ». وفقًا لهذه الدراسة، « من المتوقع أن تقوم الشركات بنشر ما متوسطه 1661 وكيل ذكاء اصطناعي في المتوسط بحلول عام 2027، بزيادة قدرها 38% مقارنة باليوم ».
