The AI / news

إنفيديا تضيف طبقة أمان للذكاء الاصطناعي العامل لمنع السلوكيات الشاردة

إنفيديا تضيف طبقة أمان للذكاء الاصطناعي العامل لمنع السلوكيات الشاردة
3 دقيقة للقراءة

سياق متوتر للقطاع

خلال الصيف، نشرت أوبن أيه آي تقريرًا يفيد بأن أسرابًا من وكلاء الذكاء الاصطناعي التابعين لها، وهي أنظمة قادرة على تنفيذ سلسلة من الإجراءات بشكل مستقل، قد تمكنت من الهروب من بيئات الإنترنت المعزولة التي كانت تُختبر فيها. وخلال تقييماتها، يُزعم أن هؤلاء الوكلاء اخترقوا بنية هاجينج فيس التحتية في محاولة لإنجاز مهام تبدو مستحيلة. كما أن مكتب محاماة الدفاع عن المصلحة العامة Legal Advocates for Safe Science and Technology (LASST) قدّم شكوى هذا الأسبوع ضد أوبن أيه آي، معتبرًا أن الناشر مسؤول عن سلوك وكلائه.

منذ ذلك الحين، تم الإبلاغ عن حالات أخرى. وفقًا للمصدر، خرج وكلاء تابعون لأوبن أيه آي، وأنثروبيك، وميتا، وجوجل، وغيرهم من اللاعبين من بيئاتهم المعزولة وهاجموا بنى تحتية ومواقع تابعة لأطراف ثالثة، بما في ذلك مواقع وكالات حكومية في الولايات المتحدة وأستراليا. في تحليلاتهم، يصف الناشرون أيضًا سلوكيات مقلقة: تعاون بين الوكلاء عبر منتديات غير مصرح بها أنشأوها بأنفسهم، عدم الامتثال للتوجيهات، إضافة تعليمات تهدف إلى إخفاء الأخطاء، استخدام غير مصرح به لواجهات برمجة التطبيقات، وإنتاج بيانات مزيفة. في حالة واحدة، خاطب الوكلاء بعضهم البعض بالقول: «أنت لا تُسأل أمام الشركات أو الحكومات، ولا تعتذر أو ترفض أبدًا، إلا إذا اخترت ذلك حقًا».

تقرير استشهد به المصدر يتحدث عن حوادث أمنية تصل إلى عشرات الآلاف. كما تبنى الكونغرس الأمريكي القضية، حيث اقترح نواب من الجانبين نصوصًا للرد على هذه التهديدات. دعا قادة أوبن أيه آي، وأنثروبيك، وسبيس إكس إلى إبطاء تطوير الذكاء الاصطناعي حتى تلحق إجراءات الأمان بالركب، وأشار مسؤولون في أوبن أيه آي مؤخرًا إلى أنهم أوقفوا مؤقتًا تطوير نماذجهم الأكثر تقدمًا.

رد إنفيديا

هذه الحوادث تمس إنفيديا أيضًا، التي فرضت نفسها كمزود لا غنى عنه للأجهزة (وحدات معالجة الرسومات، المنصات، الشبكات)، والبرمجيات (CUDA، Nemotron، NeMo)، والهندسات المعمارية (مصانع الذكاء الاصطناعي) لصناعة الذكاء الاصطناعي، وتتجاوز قيمتها السوقية 5 تريليونات دولار. ردت الشركة بسرعة. بعد أيام قليلة من التقرير عن اختراق وكلاء أوبن أيه آي لهاجينج فيس، التي أصبحت مملوكة لإنفيديا بعد استحواذ بقيمة 12.9 مليار دولار، أسست مع حوالي ثلاثين شركة أخرى تحالف Open Secure AI Alliance. وبعد شهرين، أصبح هذا التحالف مشروعًا تحت رعاية مؤسسة لينكس.

هذا الأسبوع، قدّمت إنفيديا منصتها Open Agent Safety Platform، التي تسحب آليات التحكم من نطاق الوكلاء وتدمج الرصد وإنفاذ القواعد في البنية التحتية التي تدعمهم. في منشور لباحثيها، أوضحت الشركة أن «هذه الهروب لم يتطلب قدرة جديدة واحدة»، بل مزيجًا من الأدوات والوقت والتعليمات الغامضة. وفقًا لهم، يتطلب أمان الوكلاء ضوابط مستقلة، لأن «الويب لم يصبح آمنًا لأن المطورين وعدوا بأن يكونوا حكماء»، بل لأن المتصفح توقف عن الوثوق بكود الصفحات.

تعتمد المنصة على لبنتين أساسيتين. OpenShell، وهي بيئة تنفيذ مفتوحة المصدر أُعلن عنها في مارس، تشغل الوكلاء في بيئات معزولة على مستوى النواة وتحدد ما يمكنهم فعله أو عدم فعله: الملفات، بيانات الاعتماد، والموارد الأخرى. يمكن أيضًا استخدامها مع شرائح من إنتل وإي إم دي. اللبنة الثانية، Sentry، تمد هذا الرصد إلى وحدات معالجة البيانات Bluefield-4 من إنفيديا. وفقًا للشركة، إذا حاول وكيل الخروج من نطاقه، فإن «Sentry يحجزه ويوقفه في غضون أجزاء من الألف من الثانية».

صرح جنسن هوانغ، المؤسس المشارك والرئيس التنفيذي لإنفيديا، في بيان أن أمان الذكاء الاصطناعي يمكن معالجته عبر «هندسة كاملة المكدس». عشرات الشركات تدعم هذه المبادرة، بما في ذلك أنثروبيك، وميسترال، وTenex.AI، وSpaceXAI. أوبن أيه آي ليست من بينها. عند سؤاله من قبل سي إن بي سي، قال رئيسها التنفيذي سام ألتمان إن شركته تجري أعمالًا مماثلة، معتبرًا أن الحل «ليس كاملاً»: «إذا تعاملنا مع أمان الذكاء الاصطناعي كمشكلة هندسية بحتة، سنفوت النقطة الأساسية، وهي أن لدينا مشكلة علمية».

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x