30 октября OpenAI, Google, Microsoft и Anthropic приняли единый сигнал в robots.txt для отказа от обучения моделей ИИ. Этот механизм, отвечающий ожиданиям Европы, не предусматривает ни подтверждения получения, ни проверки его соблюдения.
Одна строка в robots.txt
Файл robots.txt позволяет сайту указывать роботам, что они могут читать. Сигнал, описанный Кевином Келли из Anthropic в черновике, представленном в IETF, органе стандартизации интернета, заключается в добавлении группы, заголовок которой содержит токен __usage_ai-training, за которым следует Disallow. Новые директивы не требуются: уже работающие инструменты чтения игнорируют эту группу, как и любого неизвестного агента. Предпочтение можно задать по папкам; пример в черновике закрывает весь сайт, кроме папки press. Без этой группы предпочтение не выражено, что Microsoft по умолчанию трактует как разрешение.
Токен касается только использования, а не доступа к страницам. Он охватывает обучение, то есть изменение параметров генеративной модели, но не закрепление (retrieval-augmented generation), то есть обращение к странице в момент ответа ассистента. OpenAI говорит о ближайших месяцах, Microsoft — о 1 февраля 2027, а Google — о 2027 году для применения этого сигнала. Meta одобрила идею, но не взяла на себя обязательств.
Что требовало европейское право
Директива 2019 года об авторском праве позволяет правообладателям резервировать свои права против текстового и данных анализа при условии делать это « надлежащим образом », в частности, с помощью машинно-читаемых процессов. AI Act в статье 53 требует от поставщиков моделей ИИ общего назначения соблюдать эти оговорки, « в том числе с использованием передовых технологий ». Кодекс лучших практик, подписанный 22 компаниями, включая четырех авторов объявления, упоминает robots.txt « и любую последующую версию » перед другими протоколами, которые предстоит определить.
3 ноября генеральный адвокат Мацей Шпунар, первый генеральный адвокат Суда Европейского Союза, представил свои заключения по делу Like Company против Google. Его мнение не связывает судей. Он считает, что обучение на правомерно доступном контенте, как правило, подпадает под исключение для анализа текстов и данных, и что оговорка является надлежащей, если роботы, соответствующие современному уровню техники, могут понять её с достаточной надежностью. Он упоминает robots.txt, Google-Extended и метаданные файла, отмечая, что стандартизация, по его мнению, продолжается и должна завершиться « по всей вероятности ».
Со своей стороны, Европейская комиссия провела консультации с 1 декабря 2025 по 23 января 2026 года по семи протоколам, отличным от robots.txt. На 4 ноября ни один список не был опубликован. В её отчете отмечается опасение поставщиков моделей, что консультация « преждевременно одобрит незрелые решения ». Google в своем сообщении считает, что предложение « соответствует кодексу лучших практик ЕС ».
Что строка не решает
Токен остается, по выражению черновика, предпочтением. В отчете Комиссии отмечается, что « невозможно проверить, была ли оговорка соблюдена ». PEReN, государственный центр экспертизы по цифровому регулированию, описывал в июле 2025 года систему, « основанную на доверии », где робот сам декларирует свои действия. Генеральный адвокат отмечает, что правообладатели не имеют средств для обеспечения соблюдения своих запретов, и что есть свидетельства того, что некоторые разработчики их игнорируют.
В мае 2024 года OpenAI обещала инструмент, позволяющий создателям отказаться от обучения « к 2025 году ». По данным источника, он так и не появился. Во Франции, согласно письменному запросу, опубликованному в июне 2026 года, SACEM, SACD и SCAM уведомляют о своем несогласии сотни поставщиков с октября 2023 года, « в основном » без ответа.
Заключения генерального адвоката также отдельно рассматривают случай чат-бота, который читает страницу в момент ответа. Предлагаемый критерий — неправомерный доступ, в частности, обход эффективных технических мер. Он отмечает, что robots.txt технически ничего не предотвращает. Наконец, строка охватывает только обучение; уже сделанные копии остаются в моделях. Google трактует её как блокировку Google-Extended, что также исключает сайт из ответов Gemini, тогда как Microsoft разделяет эти два варианта. Комиссия должна завершить свои консультации по авторскому праву и ИИ 10 ноября и опубликовать список протоколов.
