عمالقة التكنولوجيا يريدون تنظيم جمع البيانات على الويب

حتى الآن، كان على مسؤولي المواقع تكوين قواعد منفصلة لكل زاحف (روبوت) تستخدمه شركات التكنولوجيا. فجوجل تقدم Google-Extended، بينما تمتلك أوبن إيه آي GPTBot. يؤدي تعدد هذه الآليات إلى تعقيد إدارة الأذونات، خاصة بالنسبة للوسائل الإعلامية ومنتجي المحتوى، الذين من المحتمل أن تُدمج منشوراتهم في بيانات تدريب النماذج.

تعتمد المقترح الجديد على معرف مشترك، أطلق عليه اسم __usage_ai-training، يمكن إضافته مباشرة في ملف robots.txt. وقد تم تقديمه إلى Internet Engineering Task Force (IETF) من قبل كيلفن كيلي، مهندس في أنثروبيك. ويهدف إلى تمكين مدراء المواقع من تحديد تفضيلاتهم، القابلة للتطبيق على مختلف مزودي الذكاء الاصطناعي الذين سيعتمدون هذه الآلية. وبذلك يمكن لموقع ما منع استغلال جميع صفحاته لتدريب النماذج، مع السماح بأقسام معينة، مثل قسمه الإعلامي.

فصل تدريب النماذج عن الظهور في نتائج البحث

أحد تحديات هذا التطور يتعلق بالتمييز بين تدريب نماذج الذكاء الاصطناعي وفهرسة المحتوى في محركات البحث. تشير جوجل إلى أن الإشارة الجديدة يجب أن تسمح للناشرين برفض استخدام صفحاتهم للتدريب دون منع بالضرورة زحف محركات البحث إليها. وتوضح المجموعة أن آلياتها الحالية، بما في ذلك Google-Extended، ستستمر في العمل بالتوازي مع هذه القاعدة الجديدة.

تدافع مايكروسوفت أيضاً عن هذا الفصل. في عرضها للتوجهات الجديدة الموجهة للناشرين، تميز الشركة بين تدريب النماذج واستخدام المحتوى لتغذية الردود التي تولدها أنظمة الذكاء الاصطناعي، وهي ممارسة غالباً ما يُشار إليها بمصطلح grounding. سيكون بمقدور الناشر إدارة هذين الاستخدامين بشكل منفصل، وتعتزم مايكروسوفت الحفاظ على إمكانية بقاء المواقع مرئية في بينغ، بغض النظر عن خياراتها المتعلقة بتدريب النماذج.

نشر تدريجي بدءاً من عام 2027

تخطط الشركات المشاركة لنشر الآلية بشكل تدريجي. تعلن مايكروسوفت عن بدء الدعم اعتباراً من 1 فبراير 2027، مع زحف روبوتاتها للمواقع. تهدف جوجل أيضاً إلى الدمج في 2027، بينما بدأت أنثروبيك بالفعل في تنفيذ هذا التوجيه وتخطط أوبن إيه آي لدمجه في الأشهر القليلة المقبلة.

ستبقى القواعد الخاصة بكل مزود قابلة للاستخدام كمكمل للإشارة المشتركة.