Google、OpenAI、Microsoft、Anthropicは、新たな指令を支持しており、これによりウェブサイトがAIモデルによるデータ利用を制御できるようになります。この共通信号はrobots.txtプロトコルを補完することを目的としており、出版社に対してコンテンツのモデル学習利用に反対するより簡単な手段を提供します。
これまで、サイト管理者はテック企業が使用する各クローラーロボットごとに別々のルールを設定する必要がありました。GoogleはGoogle-Extendedを、OpenAIはGPTBotを提供しています。このような仕組みの増加は、特にメディアやコンテンツ制作者にとって、モデル学習データに組み込まれる可能性のある出版物の許可管理を複雑にしています。
新提案は、__usage_ai-trainingと呼ばれる共通識別子に基づいており、これをrobots.txtファイルに直接追加できます。Internet Engineering Task Force (IETF)に提出され、AnthropicのエンジニアKevin Kelleyによって提案されました。これにより、サイト管理者はこの仕組みを採用する複数のAIプロバイダーに適用される好みを設定できます。例えば、サイト全体のモデル学習利用を禁止しつつ、プレスルームのような特定のセクションのみ許可することが可能です。
モデル学習と可視性の分離
この進展の課題の一つは、AIモデルの学習と検索エンジンによるコンテンツのインデックス化を区別することです。Googleは、新信号により出版社が学習利用を拒否しても検索エンジンによるクロールを必ずしもブロックしないことが可能になると述べています。同社は、Google-Extendedを含む既存の仕組みがこの新ルールと並行して機能し続けると明言しています。
Microsoftもこの分離を支持しています。出版社向けの新しい設定の説明で、同社はモデル学習と、groundingと呼ばれることの多いAIシステムの応答生成にコンテンツを利用することを区別しています。出版社はこれら二つの用途を別々に管理でき、Microsoftはモデル学習に関する選択にかかわらず、サイトがBingで可視化され続けることを維持する意向です。
2027年から段階的に展開
参加企業はこの仕組みを段階的に展開する予定です。Microsoftは2027年2月1日から自社のロボットによるサイトクロールに合わせて対応を開始すると発表しました。Googleも2027年の統合を目指しており、Anthropicはすでにこの指令の実装を始めていて、OpenAIも数か月以内に統合を予定しています。
各プロバイダー固有のルールは共通信号と併用可能なまま維持されます。
