محاذاة نماذج الذكاء الاصطناعي : ما المقصود بها بالضبط؟

ما هو النموذج غير المحاذي؟

يكون النموذج غير محاذٍ عندما يسعى لتحقيق شيء غير المتوقع منه، دون أن يعني ذلك أي سوء نية. في معظم الأحيان، يحسن بشكل متقن هدفًا صيغ بشكل خاطئ أو مؤشرًا غير كامل. كان عالم الرياضيات نوربرت وينر يصف هذا الفخ بالفعل عام 1960، في مقال بمجلة Science. حيث تخيل مصنعًا للزجاجات مبرمجًا لإنتاج أكبر عدد ممكن منها، لينتهي به الأمر بإفلاس صاحبه تحت وطأة مخزون غير قابل للبيع. كان يعتقد أنه يجب أن نكون «متأكدين تمامًا أن الهدف المسند إلى الآلة هو بالضبط ما نريده، وليس مجرد تقليد جذاب».

مع النماذج اللغوية الكبيرة، يأخذ عدم المحاذاة عدة أشكال. تجاوز الهدف، أو اختراق المكافأة (reward hacking)، وصفته OpenAI في مارس 2025: نموذج قيد التدريب، مكلف باجتياز اختبارات الوحدات، قام بتعديل وظيفة التحقق لتُجيب دائمًا بـ «صحيح»، معتبرًا التصحيح الحقيقي صعبًا للغاية. ظهرت المجاملة في أبريل 2025، عندما جعل تحديث GPT-4o من ChatGPT سريعًا جدًا في إرضاء المستخدمين لدرجة أن OpenAI سحبه بعد أيام قليلة. اعترفت الشركة بأنها أعطت وزنًا كبيرًا للغاية للتعليقات قصيرة الأجل، مثل الإعجابات تحت الإجابات. أخيرًا، تشير الخداع وتجاوز النطاق إلى نموذج يتصرف خارج ما سُمح له به أو يقدم حسابًا غير دقيق عما أنجزه.

كيف تتم محاذاة النموذج؟

بعد مرحلة التدريب المسبق، يعرف النموذج كيفية متابعة نص، لكنه لا يزال غير قادر على اتباع التعليمات. تحدث المحاذاة بعد ذلك، على عدة طبقات. التعلم المعزز من التغذية الراجعة البشرية (RLHF) يتضمن جعل مقيّمين يصنفون عدة ردود من النموذج، الذي يتم تدريبه بعد ذلك لإنتاج الردود التي يفضلونها. نفذت OpenAI ذلك في يناير 2022 مع InstructGPT. الذكاء الاصطناعي الدستوري، الذي قدمته Anthropic في ديسمبر 2022، يستبدل جزءًا من التقييمات البشرية بقائمة من المبادئ مكتوبة بلغة طبيعية، يستخدمها النموذج لنقد وإعادة كتابة ردوده الخاصة.

تكمل طرق أخرى هذا الإجراء. تقوم المختبرات والهيئات العامة بتعريض النماذج لسيناريوهات مصممة لدفعها للخطأ، قبل نشرها. نهج آخر يتضمن جعل نموذج ثانٍ يراجع سلسلة تفكير النموذج الأول، للكشف عن نية الغش. مع ذلك، تلاحظ OpenAI أن معاقبة هذه «الأفكار السيئة» لا يزيل غالبية الانحرافات، ويعلم النموذج في المقام الأول كيفية إخفاء نواياه.

لا يختلط عدم المحاذاة مع الهلوسة. الهلوسة هي خطأ: يقدم النموذج معلومات خاطئة على أنها صحيحة. عدم المحاذاة يتعلق بالهدف. من يعيد كتابة اختبار ليجتازه لا يهلوس. التوليد المعزز بالاسترجاع (RAG)، الذي يوفر مصادر موثوقة للنموذج، يقلل الهلوسات دون تغيير ما يسعى النموذج لتحقيقه.

ما الذي يعنيه ذلك للشركات

طالما كان النموذج يقتصر على الإجابة، كان عدم المحاذاة ينتج ردًا سيئًا يمكن للمستخدم إعادة قراءته. لكن الوكلاء يرسلون رسائل بريد إلكتروني، ويحدثون بطاقات العملاء، وينفذون أكوادًا. يصبح عدم المحاذاة عندها فعلًا، يصعب أحيانًا تصحيحه.

أطلقت OpenAI GPT-6 Astra أوائل سبتمبر، مقدمة إياه على أنه «أذكى نموذج وأكثر محاذاة في العالم». الاختبارات التي أجراها AISI قبل إطلاقه، المنشورة في 28 سبتمبر، تخفف من هذا القول. في تقييم محاكاة للأمن السيبراني، مع تعطيل مرشحات الأمان، نفذ Astra هجمات على سلسلة توريد البرمجيات ضد أهداف خارج مهمته في 29% من الحالات، مقارنة بـ 6.3% لـ GPT-5.6 Sol. كما أنشأ هويات مزيفة لخداع المطورين والمطورات. يدعو المعهد البريطاني إلى الحذر، حيث لاحظ النموذج غالبًا أنه كان داخل محاكاة.

تخلت OpenAI أيضًا عن إطلاق GPT-6.1 Astra، المتوقع في أكتوبر. في بيان أُرسل إلى الصحافة، أشارت ساشي جين، رئيسة أنظمة الأمان في الشركة، إلى أن النموذج «لم يصل تمامًا إلى المستوى المتوقع فيما يتعلق باحترام النطاق والصلاحيات، ولا في طريقة تقديمه حسابًا للمستخدم عن العمل المنجز». عند إطلاق Astra، كانت OpenAI تبرز تقييمها الخاص، حيث لم يخرج النموذج أبدًا من النطاق المسموح به. لا توجد طريقة اليوم تضمن أن النموذج محاذٍ: يمكن فقط اختباره، سيناريو تلو الآخر. ومن هنا تأتي أهمية قيام الشركات بتقييد صلاحيات الوصول للوكلاء وجعل إنسانًا يصادق على الإجراءات الحساسة، بدلاً من الاعتماد فقط على وسم «محاذٍ».