Файл robots.txt остается основным инструментом для указания роботам-краулерам, какие части сайта они могут сканировать. Поскольку инструменты поиска на основе ИИ и агенты теперь посещают сайты наряду с традиционными роботами, понимание правил, которым следует каждый из них, становится крайне важным, чтобы не исключить свой контент по ошибке.
Расположенный в корне сайта, этот текстовый файл содержит несколько директив. User-agent обозначает соответствующего робота, Disallow запрещает сканирование определенных путей, Allow разрешает сканирование определенных URL, даже если их родительская папка заблокирована, а Sitemap указывает местоположение карты сайта в формате XML. Работа этих директив описана в RFC 9309. Файл не поддерживает полные регулярные выражения и имеет только два спецсимвола: звездочку (*), которая соответствует нулю или более символам, и знак доллара ($), который отмечает конец URL. Пути чувствительны к регистру, тогда как имена директив и имена роботов — нет.
Какое правило имеет приоритет в случае конфликта
Когда у робота есть собственные правила, он следует им, а не правилам группы User-agent: *. Для Google в рамках соответствующей группы применяются два принципа. В первую очередь применяется самое конкретное правило, то есть то, которое соответствует большему количеству символов в URL. Таким образом, разрешение для подпапки, например /downloads/free/, имеет приоритет над запретом для /downloads/. При равной конкретности применяется наименее ограничительное правило.
Блокировка страниц, которые не должны появляться в результатах поиска, например политики конфиденциальности, позволяет сократить ненужное сканирование и направить бюджет сканирования на полезные страницы. Однако Google уточняет, что это не перенаправляет бюджет автоматически на другие страницы, если только сайт уже не достиг своего лимита сканирования. Особенно это касается интернет-магазинов: фильтры с бесконечными комбинациями и URL-адреса действий, такие как добавление в корзину или список желаний, могут генерировать огромное количество страниц без собственной ценности. Гэри Ильеш из Google неоднократно предупреждал, что такие URL-адреса могут сканироваться бесконечно.
Однако файл не гарантирует исключения страницы из индекса. Google может проиндексировать заблокированную страницу по ссылкам, ведущим на нее. Чтобы удалить ее, источник рекомендует использовать тег noindex при условии, что страница остается доступной для сканирования, чтобы Google мог прочитать эту инструкцию.
Роботы ИИ: обучение, поиск и посещения по запросу
Ключевое различие касается цели использования контента. Один робот может использоваться для обучения языковой модели, другой — для поиска или получения информации в реальном времени, третий — для посещения по запросу пользователя. В OpenAI OAI-SearchBot питает поисковые ответы ChatGPT, ChatGPT-User обрабатывает посещения, запрошенные пользователем, а GPTBot используется для обучения. Таким образом, можно заблокировать GPTBot, разрешив при этом два других.
Согласно исследованию BuzzStream, о котором сообщал Search Engine Journal в январе 2026 года, 79% изученных новостных сайтов США и Великобритании запрещают доступ по крайней мере одному роботу для обучения, а 71% — по крайней мере одному роботу для поиска или получения данных в реальном времени. В руководстве подчеркивается, что эти роботы для получения данных помогают инструментам ИИ находить и цитировать страницы, поэтому их блокировка — это отдельное решение, отличное от отказа от обучения.
У этих правил есть ограничения. Робот, игнорирующий robots.txt, все равно может собирать контент, а блокировка обучения не обязывает инструменты ИИ цитировать сайт. По данным OpenAI, правила файла могут не применяться к ChatGPT-User, а Perplexity указывает, что Perplexity-User обычно их игнорирует. Anthropic утверждает, что ее роботы, включая Claude-User, соблюдают robots.txt. Для защиты приватной информации по-прежнему необходима аутентификация.
Кроме того, Google и Apple предлагают отдельные токены. Google-Extended охватывает обучение Gemini и некоторые случаи привязки ответов, не блокируя Googlebot и включение в обычный поиск. Applebot-Extended контролирует обучение базовых моделей, не блокируя поисковое сканирование Applebot. Эти два токена не являются отдельными роботами: сами по себе они не сокращают количество запросов на сканирование.
