Google, Microsoft и OpenAI объявили, что будут учитывать одну и ту же строку в файле robots.txt для выражения предпочтений относительно обучения ИИ. Таким образом, сайт сможет указать единое предпочтение всем поддерживающим эту инициативу провайдерам, вместо того чтобы писать отдельные правила для робота каждой компании. Ни одна из трёх компаний пока не поддерживает эту строку, согласно их собственным графикам.
Текст основан на индивидуальном проекте («Internet Draft»), представленном Кевином Келли из Anthropic в рабочую группу AI Preferences IETF. Этот документ фигурирует в системе отслеживания IETF как индивидуальный проект, который не представляет официальной деятельности по стандартизации организации. В сообщении, отправленном в список рассылки группы, Келли указывает, что Anthropic начала разработку этой функции.
Обычное правило, специальный токен
Проект не добавляет никаких новых директив в файл robots.txt. Правило записывается как обычно, с инструкциями Allow и Disallow, под токеном с именем __usage_ai-training. Пример, приведённый в тексте, соответствует сайту, который запрещает обучение на всех своих страницах, за исключением папки /press-kit/.
Токен использует определение из черновика словаря рабочей группы. Под обучением там понимается использование контента для изменения изученных параметров генеративной модели ИИ. Модели, которые выполняют только негенеративные задачи, такие как классификация или ранжирование, исключаются. Правила, уже присутствующие в файлах robots.txt, не учитываются в этой общей настройке предпочтений, и токен не контролирует обход страниц.
Три разных подхода
Google указал в сообщении за подписью Джона Мюллера, что если сайт использует общую строку, не указывая Google-Extended, компания будет интерпретировать это «так, как если бы издатель запретил Google-Extended». Этот контроль также будет применяться к ответам, основанным на контенте в Gemini Apps. Google планирует внедрить поддержку к 2027 году, его документация по роботам упоминает начало 2027 года. Согласно этой документации, Google-Extended регулирует использование контента для обучения будущих моделей Gemini, а также его использование для привязки (grounding) в Gemini Apps и на Vertex AI. Google не связывает этот инструмент с индексацией в своём поиске, а для AI Overviews и режима ИИ предусмотрен отдельный контроль.
Microsoft использует общую строку для обучения, но добавляет отдельную настройку «AI Grounding», определённую только на уровне страницы. Согласно сообщению Кришны Мадхавана, ведущего менеджера по продукту в Bing, опция DisallowExtended разрешает привязку в инструментах Microsoft, таких как Copilot, но не в сервисах, предоставляемых другим компаниям, например Web IQ. Компания уточняет, что эти ограничения могут снизить видимость бренда в ответах ИИ, но не повлияют на ранжирование в результатах Bing. Microsoft заменяет NoArchive и NoCache этими двумя новыми опциями с 1 февраля 2027 года и больше не будет распознавать старые теги после 1 марта 2027 года.
OpenAI и Anthropic
OpenAI планирует внедрить поддержку этого сигнала в ближайшие месяцы, но её текущая политика в отношении robots.txt останется в силе. Ни её сообщение, ни документация по роботам не уточняют, что произойдёт в случае конфликта между общей строкой и правилом GPTBot.
По состоянию на 30 октября Anthropic не публиковала никаких объявлений по этому поводу. Согласно сообщению Кевина Келли, внедрение во всех сервисах компании займёт время. Её справочная страница по роботам упоминает только три варианта контроля: ClaudeBot, Claude-User и Claude-SearchBot.
Черновик Келли истекает 3 мая 2027 года, если он не будет заменён новой версией. Google и OpenAI заявили, что предоставят больше подробностей по мере развёртывания их поддержки.
