The AI / news

Управление ИИ-роботами : почему SEO-специалистам нужно больше, чем просто списки блокировок

Управление ИИ-роботами : почему SEO-специалистам нужно больше, чем просто списки блокировок
2 мин чтения

Управление ботами на веб-сайтах больше не может ограничиваться простым списком разрешений или блокировок, считает автор статьи, посвященной этой теме. Он выступает за осознанную политику, которая учитывает идентичность каждого автоматизированного посетителя, его цели и последствия предоставления ему доступа.

Роботы с совершенно разными задачами

В течение многих лет управление ботами в поисковой оптимизации (SEO) оставалось довольно простым: сайт либо разрешал сканирование своим ботам, либо блокировал их. Эта модель никогда не была идеальной, но в целом ее хватало для удовлетворения потребностей. Однако поиск с использованием ИИ делает ее все менее пригодной.

Сайты теперь посещают как классические краулеры, так и боты для обучения ИИ-моделей, боты для сбора информации, запросы, инициированные пользователями, и автономные агенты. Эти участники преследуют совершенно разные цели, но их часто объединяют под термином «ИИ-боты». Блокировка бота, используемого для обучения модели, имеет иные последствия, чем блокировка бота, который собирает контент для формирования ответов в поиске, и это различие действительно важно.

Файл robots.txt, который указывает ботам, какие части сайта они могут просматривать, остается полезным. Но поскольку его соблюдение является добровольным, фактическое применение правил в основном обеспечивается CDN (сетями доставки контента), WAF (межсетевыми экранами веб-приложений) и сервисами по борьбе с ботами. Эти инструменты могут противоречить правилам robots.txt без ведома SEO-команды.

Агенты — дополнительная проблема

Агенты еще больше усложняют ситуацию. Они могут перемещаться по сайтам как настоящие пользователи, запускать отслеживание статистики посещений и становиться все более неотличимыми от человеческих посетителей. Поэтому блокировка агента, который сравнивает продукты, означает не просто потерю позиции в результатах: сайт может полностью исчезнуть из ответа.

От списков к политике

Автор выступает за переход от списков блокировок к осознанной политике управления ботами. Эта политика должна учитывать, кто получает доступ к контенту, с какой целью и каковы будут последствия разрешения или блокировки. Эти решения теперь касаются команд SEO, разработки, безопасности, юридического отдела и коммерческого отдела, которые, согласно статье, должны быть скоординированы, применяться последовательно и регулярно пересматриваться.

Автор указывает, что подробно изложил эти вопросы, их последствия и некоторые практические подходы в своей презентации «GEO Elite». Текст был первоначально опубликован на AI Search Marketing with Chris Green.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x