عندما يقدم نظام ذكاء اصطناعي في شركة إجابة غير موثوقة، فإن التشخيص المعتاد يوجه اللوم إلى النموذج. ومع ذلك، وفقًا للمقال المصدر، فإن الفشل الأكثر تكرارًا والأصعب في التحديد يكمن في مكان آخر: يمكن لنموذج لغة كبير (LLM) أن يستنتج بشكل صحيح انطلاقًا من سياق تم اختياره بشكل خاطئ.
العلاجات الأكثر شيوعًا هي نموذج أكثر قوة، أو مطالبة أطول، أو استرجاع وثائق أكثر، أو نافذة سياق أوسع، أي كمية المعلومات التي يمكن للنموذج معالجتها في وقت واحد. يمكن لكل منها المساعدة، لكن لا يحل أي منها هذه المشكلة مباشرة. في الأنظمة التحليلية، قد يكون الحساب صحيحًا والتفسير متماسكًا، ومع ذلك تبقى الإجابة خاطئة: فقد اختار النظام أدلة خاطئة، أو اتبع رابطًا خاطئًا بين الجداول، أو أعطى لمصطلح تجاري غامض تعريفًا لم يكن في ذهن المستخدم. يحدث الخطأ قبل أي حساب.
لنأخذ سؤالًا بسيطًا: كم ساعة يعمل كام يوميًا في المتوسط؟ كلمة « يوم » غير محددة. يمكن أن تشير إلى كل يوم تقويمي في الفترة، أو سنة عمل معيارية، أو كل تسجيل في الجدول الزمني، أو كل تاريخ عمل فيه كام فعليًا. قسمة إجمالي الساعات على الأيام التقويمية يعطي متوسطًا أقل من قسمتها على الأيام التي عمل فيها فعليًا بمجرد أن يكون لكام أيام راحة. التحقق التقليدي، الذي يتحقق من تطابق الإجماليات، لا يكتشف بالضرورة هذا الاختيار الخاطئ للمقام.
سؤال تجاري، برنامج تحليلي
السؤال « أي علامة تجارية حسنت الثقة هذا الربع؟ » يبدو كبحث بسيط. ومع ذلك، فإن الإجابة عليه تتطلب البت في عدة نقاط: أي سؤال في الاستبيان يقيس الثقة، أي موجات الاستطلاع تشكل « هذا الربع »، ما هو نطاق المستجيبين، ما إذا كانت النتائج مرجحة، وما الذي يُعد تحسنًا.
يأخذ المقال حالة توضيحية. يبدو جدولان متقاطعان مطابقين للطلب، مع وصف لا يختلف إلا في بضع كلمات. الأول، مرجح، يشمل جميع المستجيبين ويظهر ارتفاعًا طفيفًا. الثاني، غير مرجح، يشمل فقط المستجيبين الذين يعرفون العلامة التجارية ويظهر انخفاضًا طفيفًا. أداة بحث قائمة على التشابه ستُصنفهما متساويين تقريبًا. نظام يختار النتيجة الأولى يقدم إجابة مدعومة بمصادر ومبررة، قد تكون خاطئة، دون أن يظهر الاختيار الذي تم في النتيجة النهائية. نظام قائم على المسار، من ناحية أخرى، يلاحظ اختلاف المجتمع والتوزين ويطلب من المستخدم تحديد النطاق المطلوب. تكلفة سؤال التوضيح هذا، حسب المؤلف، أقل بكثير من تكلفة رقم خاطئ يشبه الصحيح.
معايير تقيس أنظمة
تذهب الأعمال البحثية في نفس الاتجاه. Spider 2.0، وهو معيار لتحويل النص إلى SQL للشركات مكون من 632 مشكلة مستمدة من سير عمل حقيقية، نُشر في نهاية عام 2024. نظامه الأفضل أداءً، وهو وكيل مبني على o1-preview، حل حوالي 17% من المهام، مقابل حوالي 91% لأفضل الأنظمة على المعيار الأصلي Spider. تطور الترتيب منذ ذلك الحين: مساره Snow يعرض درجة 96.7%، مقدمة من ناشر، ناتجة عن نظام وكيل. يتم إرسال النتائج من قبل الفرق نفسها، ويشير المقال إلى أن أفضل النتائج تعتمد على أنظمة مصممة حول النموذج وليس على نماذج وحدها.
إطالة السياق لا تكفي أيضًا. دراسة من Chroma، بعنوان « Context Rot »، تلاحظ أن النماذج تصبح أقل موثوقية مع زيادة طول المدخلات، حتى في المهام البسيطة، وأن المشتتات ذات المظهر المشابه تفاقم المشكلة.
مسار بدلاً من كومة
في مواجهة عدم اليقين، تكون الغريزة هي تقديم المزيد من المعلومات للنموذج. لكن هذا يمكن أن يضاعف التفسيرات المتعارضة. النهج الموصوف يتضمن تنظيم السياق بشكل تسلسلي: أولاً نية الدراسة، ثم هيكل الاستبيان، الأسئلة وتعريفاتها، الشرائح، الأسواق، الموجات وقواعد الترجيح، وأخيرًا الجدول المتقاطع الذي يحتوي على الدليل. كل طبقة ترث قيود الطبقة التي تسبقها.
تقدم Anthropic هندسة السياق على أنها التطور الطبيعي لهندسة المطالبة، وتعرفها على أنها إدارة السياق الكامل للوكيل، باعتباره موردًا محدودًا. يرى المقال أن هذا الإطار مناسب، لكنه يضعه خطوة سابقة: يتعلق الأمر بمعرفة ما يعنيه السؤال وأي الأدلة يمكن أن تجيب عليه. بالنسبة لحالة ثقة العلامة التجارية، تتبع المنهجية خمس خطوات: حل النية، تطبيق قواعد الدراسة، تحديد المصادر، التحقق من المسار، ثم الحساب باستخدام أداة مصرح بها وعرض النتيجة مع تعريفها، وقاعدة المستجيبين، وتوزينها، ومصدرها.
يؤكد المؤلف أخيرًا على إمكانية التتبع. يجب أن يكون من الممكن ربط كل نتيجة بجدولها المصدر، وتعريفها، وفلاترها، وتوزينها، وفترتها، والحساب المستخدم.
