Google、Microsoft、OpenAIは、AIトレーニングに関する設定を表明するために、同一のrobots.txtの行を考慮することを発表した。これにより、サイトは各企業のボットごとに個別のルールを記述する代わりに、この取り組みに参加するすべてのプロバイダーに対して単一の設定を示すことができる。各社のスケジュールによれば、現時点では3社ともこの行をまだサポートしていない。
この仕様は、AnthropicのKevin KelleyがIETFのAI Preferencesワーキンググループに提出した個人草案（「Internet Draft」）に基づいている。この文書はIETFの追跡システムでは個人草案としてリストされており、組織の公式な標準化活動を代表するものではない。グループのメーリングリストへの投稿で、KelleyはAnthropicがこの機能の開発を開始したことを明らかにした。
通常のルール、特定のトークン
この草案はrobots.txtファイルに新しいディレクティブを追加しない。ルールはAllowおよびDisallow命令を用いて通常通り記述されるが、__usage_ai-trainingというトークンの下に置かれる。文書で示されている例は、/press-kit/ディレクトリを除くすべてのページでのトレーニングを拒否するサイトに対応している。
このトークンはワーキンググループの語彙草案の定義を採用している。トレーニングとは、生成AIモデルの学習済みパラメータを変更するためにコンテンツを使用することを指す。分類やランキングなど非生成的なタスクのみを行うモデルは対象外である。robots.txtファイルに既に存在するルールはこの共通設定では考慮されず、このトークンはページのクロールを制御しない。
3つの異なるアプローチ
GoogleはJohn Mueller氏による投稿で、サイトが共通の行を使用しGoogle-Extendedを指定しない場合、同社はそれを「発行者がGoogle-Extendedを禁止したかのように解釈する」と述べた。この制御はGemini Apps内のコンテンツに基づく回答にも適用される。Googleは2027年に対応を目指しており、そのロボット向けドキュメントでは2027年初頭が言及されている。このドキュメントによれば、Google-Extendedは将来のGeminiモデルのトレーニング、およびGemini AppsとVertex AIでのグラウンディング（基礎付け）のためのコンテンツ使用を条件付ける。Googleはこのツールを検索インデックス作成には結び付けず、AI OverviewsとAIモードには別個の制御がある。
Microsoftはトレーニングに関して共通の行を採用するが、「AI Grounding」という別の設定を追加する。これはページレベルでのみ定義される。BingのシニアプロダクトマネージャーであるKrishna Madhavan氏の投稿によると、DisallowExtendedオプションはCopilotなどのMicrosoftツールでのグラウンディングは許可するが、Web IQなど他社に提供されるサービスでは許可しない。同社は、これらの制限はAI回答におけるブランドの可視性を低下させる可能性があるが、Bingの検索結果ランキングには影響しないと説明している。Microsoftは2027年2月1日からNoArchiveとNoCacheをこれら2つの新しいオプションに置き換え、2027年3月1日以降は古いタグを認識しなくなる。
OpenAIとAnthropic
OpenAIは今後数か月以内にこのシグナルに対応することを目指しているが、現在のrobots.txtに関するポリシーは引き続き有効である。同社の投稿およびロボット向けドキュメントは、共通の行とGPTBotルールが競合した場合の扱いについて明記していない。
10月30日現在、Anthropicはこれに関する発表を行っていない。Kevin Kelley氏のメッセージによると、同社の全サービスへの実装には時間がかかる見込みである。同社のロボット向けヘルプページでは、ClaudeBot、Claude-User、Claude-SearchBotの3つの制御オプションのみが言及されている。
Kelley氏の草案は、新しいバージョンに置き換えられない限り、2027年5月3日に期限切れとなる。GoogleとOpenAIは、対応が展開されるにつれて詳細を提供すると述べている。
