The AI / news

في جيه فروج، يرى نير بيليغ أن «الحوكمة يجب أن تعمل بسرعة الوكلاء»

في جيه فروج، يرى نير بيليغ أن «الحوكمة يجب أن تعمل بسرعة الوكلاء»

تقدم جيه فروج ميزة تسمى Local Shadow AI، مصممة للكشف على أجهزة المطورين عن أدوات الذكاء الاصطناعي ومهاراته ومكوناته التي تتجاوز دوائر الموافقة في الشركات. في مقابلة مع الموندا إنفورماتيك، قال نير بيليغ، المدير العالمي لأمن نظم المعلومات لفِرق الميدان في جيه فروج، إن تعدد وكلاء الترميز يُبرز مخاطر جديدة لسلسلة تطوير البرمجيات.

يولد وكلاء الترميز الكود مباشرة من التعليمات، ويمكنهم أنفسهم تنزيل حزم أو مهارات لم يتم التحقق من موثوقيتها من قبل الشركة. قد تحتوي هذه المكونات على ثغرات أو تعليمات خبيثة. وفقًا لنير بيليغ، تقوم الميزة بتحليل بيئات التطوير لتحديد العناصر غير المصرح بها والمخاطر التي تشكلها. يمكن لفِرق الأمن بعد ذلك تقييم التهديدات المكتشفة وتحديد الإجراءات التصحيحية اللازمة.

تحليل قائم على السلوك

تشير جيه فروج إلى أنها طورت آلية تحليل خاصة بها، تعتمد على عدة طرق. يمكنها، على سبيل المثال، اكتشاف مهارة تسعى للحصول على صلاحيات أو وصولات لا تحتاجها لأداء وظيفتها. يكمن الخطر أيضًا في تعليمات مخفية خلف لغة متطورة: قد تبدو المهارة مشروعة بينما توجه سلوك الوكيل نحو أفعال غير مرغوب فيها. لذا تسعى الشركة إلى اكتشاف الشذوذ السلوكي، وتقوم فرق البحث لديها بتحديث الأساليب مع تطور التقنيات.

يمتلك بعض العملاء بالفعل نموذج لغة كبير (LLM)، أي نموذج ذكاء اصطناعي مُدرَّب على كميات هائلة من النصوص، معتمد من قبل مؤسستهم. تتيح لهم منهجية Bring Your Own LLM Key (BYOK) استخدام مفتاح API الخاص بهم، الذي يمنح الوصول إلى هذا النموذج، بدلاً من الاعتماد بالضرورة على خدمة جيه فروج. عندها تعتمد آلية التحليل على هذا النموذج، مما يمنح الشركات حرية اختيار مزودهم والاحتفاظ باتفاقياتهم وسياسات أمنهم. في النشر الذاتي الاستضافة، تبقى البيانات في بيئة العميل ولا يتم إرسال الكود إلى سحابة جيه فروج.

هجمات مستقلة والحوكمة

من بين السيناريوهات التي تثير قلق نير بيليغ قدرة النماذج المتطورة على المساهمة في هجمات مستقلة. يمكنها المساعدة في اكتشاف ثغرات جديدة، بما في ذلك من نوع zero-day، أي ثغرات غير معروفة بعد للناشر، ثم المشاركة في سلاسل هجوم متعددة المراحل. «يمكن للمهاجمين محتملًا التصغير على نطاق وسرعة غير مسبوقين»، بينما لا يزال المدافعون يتعاملون مع دورات التصحيحات والتحقق والموافقة التي قد تستغرق أسابيع.

لحوكمة هذه الاستخدامات، الخطوة الأولى هي الحصول على رؤية لما يحدث. «إذا كنت لا ترى تنزيلات Shadow AI أو المكونات التي يستخدمها الوكلاء، فلا يمكنك حوكمتها»، كما يقول. ثم يجب دمج الأمن وسياسات الرقابة في عملية التطوير، سواء تعلق الأمر بالتبعيات أو المهارات أو موصلات MCP (البروتوكول الذي يربط الوكيل بأدوات خارجية) أو عمليات النشر.

الهدف هو امتلاك نظام مشترك يركّز الرؤية وتحليلات الأمن والقواعد والضوابط، لتتبع كل خطوة، من تعديل الكود حتى الإطلاق للإنتاج. عندما يتم التطوير بسرعة الوكلاء، يجب أن تتبع الحوكمة نفس الوتيرة: لم يعد يمكنها الاعتماد فقط على عمليات فحص بشرية لاحقة، ويجب أن تكون الضوابط مدمجة في المنصة والعمليات الآلية.