غوغل ومايكروسوفت وأوبن إيه آي تخطط للالتزام بخيار استبعاد مشترك لتدريب الذكاء الاصطناعي

يعتمد النص على مشروع فردي (« Internet Draft ») قدمه كيفن كيلي من أنثروبيك إلى فريق عمل AI Preferences في IETF. يظهر هذا المستند في متابعة IETF كمشروع فردي، لا يمثل نشاطًا معياريًا رسميًا للمنظمة. في رسالة أرسلها إلى قائمة البريد الإلكتروني للمجموعة، يشير كيلي إلى أن أنثروبيك بدأت في تطوير هذه الميزة.

قاعدة عادية، رمز مميز محدد

لا يضيف المشروع أي توجيه جديد إلى ملف robots.txt. تُكتب القاعدة كالمعتاد، مع تعليمات Allow و Disallow، تحت رمز مميز يُسمى __usage_ai-training. المثال الوارد في النص يتوافق مع موقع يرفض التدريب على جميع صفحاته، باستثناء المجلد /press-kit/.

يأخذ الرمز المميز تعريف مسودة المفردات الخاصة بفريق العمل. يشير التدريب هناك إلى استخدام المحتوى لتعديل المعلمات المتعلمة لنموذج ذكاء اصطناعي توليدي. النماذج التي تؤدي مهامًا غير توليدية فقط، مثل التصنيف أو الترتيب، مستبعدة. القواعد الموجودة بالفعل في ملفات robots.txt لا تؤخذ في الاعتبار في هذا التفضيل المشترك، ولا يتحكم الرمز المميز في زحف الروبوتات إلى الصفحات.

ثلاثة مناهج مختلفة

أشارت غوغل، في منشور موقع من جون مولر، إلى أنه إذا استخدم موقع السطر المشترك دون تحديد Google-Extended، فستفسر الشركة ذلك « كما لو أن الناشر قد منع Google-Extended ». سيطبق هذا التحكم أيضًا على الردود القائمة على المحتوى في تطبيقات Gemini. تهدف غوغل إلى تقديم الدعم في عام 2027، حيث تشير وثائق الروبوتات الخاصة بها إلى بداية 2027. وفقًا لهذه الوثائق، يشترط Google-Extended استخدام المحتوى لتدريب نماذج Gemini المستقبلية، وكذلك استخدامها للتأصيل (grounding) في تطبيقات Gemini وعلى Vertex AI. لا تربط غوغل هذه الأداة بالفهرسة في بحثها، ولدى AI Overviews ووضع الذكاء الاصطناعي تحكم منفصل.

تتبنى مايكروسوفت السطر المشترك للتدريب، لكنها تضيف تفضيلًا منفصلًا، « AI Grounding »، يُعرّف فقط على مستوى الصفحة. وفقًا لمنشور كريشنا مادهافان، مدير المنتج الرئيسي في بينغ، يسمح خيار DisallowExtended بالتأصيل في أدوات مايكروسوفت مثل Copilot، ولكن ليس في الخدمات المقدمة لشركات أخرى، مثل Web IQ. توضح الشركة أن هذه القيود قد تقلل من ظهور العلامة التجارية في ردود الذكاء الاصطناعي، دون تأثير على الترتيب في نتائج بينغ. تستبدل مايكروسوفت NoArchive و NoCache بهذين الخيارين الجديدين اعتبارًا من 1 فبراير 2027، ولن تعترف بالوسوم القديمة بعد 1 مارس 2027.

أوبن إيه آي وأنثروبيك

تهدف أوبن إيه آي إلى دعم هذه الإشارة في الأشهر القليلة المقبلة، لكن سياسة robots.txt الحالية الخاصة بها ستظل سارية. لا يوضح منشورها ولا وثائق الروبوتات الخاصة بها ما سيحدث في حالة التعارض بين السطر المشترك وقاعدة GPTBot.

حتى 30 أكتوبر، لم تكن أنثروبيك قد أصدرت أي إعلان بهذا الشأن. وفقًا لرسالة كيفن كيلي، سيستغرق التنفيذ عبر جميع خدمات الشركة بعض الوقت. صفحة المساعدة الخاصة بالروبوتات الخاصة بها تذكر فقط ثلاثة خيارات للتحكم: ClaudeBot و Claude-User و Claude-SearchBot.

تنتهي صلاحية مسودة كيلي في 3 مايو 2027، ما لم يتم استبدالها بإصدار جديد. أشارت غوغل وأوبن إيه آي إلى أنهما ستقدمان المزيد من التفاصيل مع نشر دعمهما.