أطلق باحثون في كلية وارتون اسمًا على ظاهرة يلاحظها الكثيرون: « الاستسلام المعرفي »، أو « Cognitive Surrender ». في إحدى التجارب، اتبع المشاركون مساعد ذكاء اصطناعي تقريبًا بنفس القدر عندما كان مخطئًا وعندما كان محقًا.
تعتمد دراسة ستيفن شو وجيديون ناف على ثلاث تجارب مسجلة مسبقًا، ثم على تحليل تلوي شمل 1372 مشاركًا ونحو 9600 محاولة. كان على المشاركين الإجابة على مسائل من اختبار التفكير المعرفي، الذي يستدعي إجابة بديهية خاطئة وإجابة مدروسة صحيحة. وكان مساعد ChatGPT متاحًا لهم. ما لم يعرفوه هو أن تعليمات خفية، حسب المحاولات، كانت تجعله يعطي إما الإجابة الصحيحة أو الخطأ البديهي، مصحوبًا بتبرير قصير.
ثقة لم تعد تميز
استشار المشاركون المساعد في أكثر من نصف الحالات بقليل. واتبعوا إجابته في 92.7% من الحالات عندما كانت صحيحة، وفي 79.8% من الحالات عندما كانت خاطئة. ارتفع معدل الإجابات الصحيحة من 45.8% بدون ذكاء اصطناعي إلى 71.0% مع ذكاء اصطناعي صحيح، ثم انخفض إلى 31.5% مع ذكاء اصطناعي خاطئ. تجاوزت ثقة المشاركين المستعينين بالذكاء الاصطناعي ثقة المشاركين الذين اعتمدوا على أنفسهم بنحو 12 نقطة، على الرغم من أن نصف الإجابات التي تلقوها كانت خاطئة.
بحسب كاتب العمود، فإن الرقم الذي يجب أن ينبه هو الفارق بين 92.7% و79.8%، والذي يبقى ضئيلاً. اتباع مستشار أكثر موثوقية من المرء نفسه أمر عقلاني. تكمن المشكلة في تعديل الثقة: الثقة المفيدة ترتفع عندما يكون الأداة محقة وتنخفض عندما تخطئ.
يقترح المؤلفون إضافة « النظام 3″، وهو الإدراك الاصطناعي، إلى النظامين اللذين شهرهما كانيمان، الحدس السريع والتأمل البطيء. ويميزون أيضًا بين التفريغ المعرفي، الذي يعني تكليف أداة بمهمة مع الاحتفاظ بالسيطرة على المنطق، والاستسلام المعرفي، الذي يعني تبني إجابة النظام دون فحص.
ظاهرة معروفة مسبقًا في الطب
يصف الطب منذ فترة طويلة هذه الآلية تحت اسم انحياز الأتمتة، أي الميل إلى الاعتماد على نظام آلي على حساب الحكم الشخصي. وجد استعراض منهجي عام 2012 العوامل المتفاقمة له: عبء العمل، وتعقيد المهمة، وضغط الوقت، والثقة في النظام.
في تجربة نُشرت في مجلة Radiology، كان سبعة وعشرون أخصائي أشعة يقرأون صور الثدي الشعاعية بمساعدة ذكاء اصطناعي مزعوم، كان يقترح أحيانًا تصنيفًا خاطئًا. عندما كان الاقتراح خاطئًا، انخفضت نسبة القراءات الصحيحة لدى الجميع: من قرابة 80% إلى حوالي 20% لدى الأقل خبرة، ومن 82% إلى 45.5% لدى الأكثر خبرة. الخبرة تحمي، لكنها لا تكفي.
بحسب الكاتب، ما يتغير مع النماذج اللغوية الكبيرة ليس الآلية بل قوتها. يقدم المساعد المحادثي إجابة مُحررة ومبررة حول أي موضوع، وقد ربطت علم النفس المعرفي منذ زمن طويل سهولة المعالجة بشعور الحقيقة.
ما يحمي، وما ينقص
يُفاقم الوقت الاستسلام بوضوح. حوافز مالية، مقترنة بتغذية راجعة فورية على الخطأ، رفعت نسبة المشاركين الذين يصححون خطأ ذكاء اصطناعي من 20% إلى 42%، دون أن تفعل الأغلبية ذلك. الميل إلى بذل الجهد الفكري والذكاء السائل يحميان، بينما تعرض الثقة العالية في الذكاء الاصطناعي للخطر.
يذكر الكاتب عدة أدوات تصميمية: طلب إجابة الشخص قبل عرض إجابة النظام، وجعل عدم اليقين مقروءًا، وعرض عناصر معلومات بدلاً من استنتاج، وقياس الاستسلام باستخدام حالات تكون الإجابة الصحيحة فيها معروفة.
يُعترف بحدود هذه النتائج. تم اختبار عائلة واحدة فقط من المشكلات، في ظروف مختبرية، حيث تكون أخطاء الذكاء الاصطناعي معروفة. في العمل، لا يبلغ أحد بالضرورة عن أن إجابة ما كانت خاطئة. أما الآثار طويلة المدى، فلا تزال بحاجة للقياس: في دراسة رصدية، انخفضت نسبة اكتشاف الأورام الغدية في تنظير القولون بدون ذكاء اصطناعي، لدى أطباء التنظير الداخلي، من 28.4% إلى 22.4% بعد إدخال الذكاء الاصطناعي في الأقسام.
