يظل ملف robots.txt الأداة المرجعية للإشارة إلى روبوتات الزحف إلى الأجزاء التي يمكنها استكشافها في الموقع. بينما تقوم الآن أدوات بحث قائمة على الذكاء الاصطناعي ووكلاء بزيارة المواقع إلى جانب الروبوتات التقليدية، أصبحت معرفة القواعد التي يتبعها كل منها أمرًا ضروريًا لتجنب استبعاد المحتويات عن طريق الخطأ.
يحتوي هذا الملف النصي، الموضع في جذر الموقع، على عدة توجيهات. User-agent تشير إلى الروبوت المعني، Disallow تطلب عدم استكشاف مسارات معينة، Allow تسمح باستكشاف عناوين URL معينة حتى إذا كان المجلد الأصلي محظورًا، وSitemap تشير إلى موقع خريطة الموقع بتنسيق XML. يتم وصف آلية عمل هذه التوجيهات في RFC 9309. لا يدعم الملف التعبيرات النمطية الكاملة ويحتوي على محرفين بديلين فقط: النجم (*) الذي يتطابق مع صفر أو أكثر من المحارف، والعلامة الدولارية ($) التي تشير إلى نهاية عنوان URL. المسارات حساسة لحالة الأحرف، بينما أسماء التوجيهات وأسماء الروبوتات ليست كذلك.
أي قاعدة تسود في حالة التعارض
عندما يكون للروبوت قواعد خاصة به، فإنه يتبعها بدلاً من قواعد المجموعة User-agent: *. بالنسبة لجوجل، ينطبق مبدآن ضمن المجموعة المعنية. يتم تطبيق القاعدة الأكثر تحديدًا، أي التي تتطابق مع عدد أكبر من محارف عنوان URL، أولاً. وبالتالي، فإن الإذن الذي يشير إلى مجلد فرعي، مثل /downloads/free/، يتفوق على حظر يشير إلى /downloads/. إذا تساوت القواعد في التحديد، فإن القاعدة الأقل تقييدًا هي التي تُطبق.
يسمح حظر الصفحات التي لا تحتاج إلى الظهور في نتائج البحث، مثل سياسة الخصوصية، بتقليل الزحف غير الضروري وتوجيه ميزانية الزحف نحو الصفحات المفيدة. ومع ذلك، توضح جوجل أن هذا لا ينقل الميزانية تلقائيًا إلى صفحات أخرى، إلا إذا كان الموقع قد وصل بالفعل إلى حد قدرته على الزحف. المتاجر الإلكترونية معنية بشكل خاص: يمكن للمرشحات ذات التركيبات اللانهائية وعناوين URL الخاصة بالإجراءات، مثل الإضافة إلى سلة التسوق أو قائمة الرغبات، أن تولد عددًا كبيرًا من الصفحات التي لا تملك قيمة جوهرية. وقد حذر غاري إيليس من جوجل مرارًا وتكرارًا من أن هذه العناوين يمكن زحفها إلى ما لا نهاية.
ومع ذلك، لا يضمن الملف خروج صفحة من الفهرس. يمكن لجوجل فهرسة صفحة محظورة بناءً على الروابط التي تشير إليها. لإزالتها، توصي المصدر باستخدام علامة noindex، بشرط ترك الصفحة قابلة للزحف حتى يتمكن جوجل من قراءة هذه التعليمة.
روبوتات الذكاء الاصطناعي: التدريب، البحث، والزيارات بناءً على الطلب
التمييز الأساسي يتعلق بالاستخدام الذي يُجري للمحتويات. يمكن أن يُستخدم روبوت لتدريب نموذج لغوي، وآخر للبحث أو استرجاع المعلومات في الوقت الفعلي، وثالث لزيارة يطلبها مستخدم. في OpenAI، يغذي OAI-SearchBot إجابات بحث ChatGPT، ويدير ChatGPT-User الزيارات التي يطلبها المستخدم، ويُستخدم GPTBot للتدريب. وبالتالي، من الممكن حظر GPTBot مع السماح للآخرين.
وفقًا لدراسة BuzzStream، التي نقلها Search Engine Journal في يناير 2026، يحظر 79% من مواقع الأخبار الأمريكية والبريطانية التي تم فحصها روبوت تدريب واحد على الأقل، و71% يحظرون روبوت بحث أو استرجاع في الوقت الفعلي واحدًا على الأقل. يوضح الدليل أن روبوتات الاسترجاع هذه تساعد أدوات الذكاء الاصطناعي في العثور على الصفحات والاستشهاد بها، لذا فإن حظرها يمثل قرارًا منفصلاً عن رفض التدريب.
هذه القواعد لها حدود. يمكن لروبوت يتجاهل robots.txt أن يجمع المحتويات على أي حال، وحظر التدريب لا يلزم أدوات الذكاء الاصطناعي بالاستشهاد بالموقع. وفقًا لـ OpenAI، قد لا تنطبق قواعد الملف على ChatGPT-User، وتشير Perplexity إلى أن Perplexity-User يتجاهلها بشكل عام. تؤكد Anthropic أن روبوتاتها، بما في ذلك Claude-User، تحترم robots.txt. لحماية المعلومات الخاصة، يظل المصادقة ضرورية.
بالإضافة إلى ذلك، تقدم جوجل وآبل رموزًا مميزة منفصلة. يغطي Google-Extended تدريب Gemini وبعض استخدامات تثبيت الإجابات، دون حظر Googlebot أو الإدراج في البحث التقليدي. يتحكم Applebot-Extended في تدريب النماذج الأساسية دون حظر زحف بحث Applebot. هذان الرمزان المميزان ليسا روبوتين منفصلين: فهما لا يقللان، بمفردهما، عدد طلبات الزحف.
