Управление ботами на веб-сайтах больше не может ограничиваться простым списком разрешений или блокировок, считает автор статьи, посвященной этой теме. Он выступает за осознанную политику, которая учитывает идентичность каждого автоматизированного посетителя, его цели и последствия предоставления ему доступа.
Роботы с совершенно разными задачами
В течение многих лет управление ботами в поисковой оптимизации (SEO) оставалось довольно простым: сайт либо разрешал сканирование своим ботам, либо блокировал их. Эта модель никогда не была идеальной, но в целом ее хватало для удовлетворения потребностей. Однако поиск с использованием ИИ делает ее все менее пригодной.
Сайты теперь посещают как классические краулеры, так и боты для обучения ИИ-моделей, боты для сбора информации, запросы, инициированные пользователями, и автономные агенты. Эти участники преследуют совершенно разные цели, но их часто объединяют под термином «ИИ-боты». Блокировка бота, используемого для обучения модели, имеет иные последствия, чем блокировка бота, который собирает контент для формирования ответов в поиске, и это различие действительно важно.
Файл robots.txt, который указывает ботам, какие части сайта они могут просматривать, остается полезным. Но поскольку его соблюдение является добровольным, фактическое применение правил в основном обеспечивается CDN (сетями доставки контента), WAF (межсетевыми экранами веб-приложений) и сервисами по борьбе с ботами. Эти инструменты могут противоречить правилам robots.txt без ведома SEO-команды.
Агенты — дополнительная проблема
Агенты еще больше усложняют ситуацию. Они могут перемещаться по сайтам как настоящие пользователи, запускать отслеживание статистики посещений и становиться все более неотличимыми от человеческих посетителей. Поэтому блокировка агента, который сравнивает продукты, означает не просто потерю позиции в результатах: сайт может полностью исчезнуть из ответа.
От списков к политике
Автор выступает за переход от списков блокировок к осознанной политике управления ботами. Эта политика должна учитывать, кто получает доступ к контенту, с какой целью и каковы будут последствия разрешения или блокировки. Эти решения теперь касаются команд SEO, разработки, безопасности, юридического отдела и коммерческого отдела, которые, согласно статье, должны быть скоординированы, применяться последовательно и регулярно пересматриваться.
Автор указывает, что подробно изложил эти вопросы, их последствия и некоторые практические подходы в своей презентации «GEO Elite». Текст был первоначально опубликован на AI Search Marketing with Chris Green.
