10月30日、OpenAI、Google、Microsoft、Anthropicは、AIモデルの学習を拒否するために、robots.txtに同一のシグナルを採用した。この仕組みは欧州の期待に応えるものだが、受領確認も遵守確認も規定していない。
robots.txtの1行
robots.txtファイルは、サイトがクローラーに対して読み取り可能な内容を示すことを可能にする。AnthropicのKevin Kelleyがインターネット標準化機関IETFに提出した草案で説明されたシグナルは、ヘッダーにトークン__usage_ai-trainingを持つグループを追加し、その後にDisallowを記述するものである。新しいディレクティブは必要ない。既存の読み取りツールは、未知のエージェントと同様に、このグループを無視する。設定はフォルダ単位で可能で、草案の例では「press」フォルダを除くサイト全体を閉じている。このグループがなければ設定は表明されず、Microsoftはデフォルトでこれを許可と解釈する。
トークンはページへのアクセスではなく、使用目的のみに関わる。生成モデルのパラメータ変更である「学習」を対象とするが、アシスタントが回答時にページを参照する「グラウンディング」は対象外である。OpenAIは今後数ヶ月内、Microsoftは2027年2月1日、Googleは2027年をこのシグナルの適用時期としている。Metaはこのアイデアを歓迎したが、コミットメントは表明していない。
欧州法が求めていたもの
2019年の著作権指令は、権利者がテキスト・データマイニングに対して権利を留保することを認めており、その際には機械可読な方法で行うことが「適切な方法」として求められる。AI法第53条は、汎用AIモデルの提供者に対し、「最先端技術を含む手段によって」これらの留保を尊重することを要求している。発表を行った4社を含む22社が署名した行動規範は、他の特定されるべきプロトコルに先立ち、robots.txt「及びその後のあらゆるバージョン」を挙げている。
11月3日、欧州司法裁判所の第一法務官Maciej Szpunarは、Like Company対Google事件に関する意見を発表した。この意見は裁判官を拘束しない。彼は、合法的にアクセス可能なコンテンツを用いた学習は原則としてマイニングの例外に該当し、留保は、最先端のロボットが十分な信頼性をもって理解できる場合に「適切」であると考える。彼はrobots.txt、Google-Extended、ファイルのメタデータを例示し、標準化は現在進行中であり、「あらゆる可能性において」実現するだろうと述べている。
一方、欧州委員会は2025年12月1日から2026年1月23日まで、robots.txt以外の7つのプロトコルについて協議を行った。11月4日現在、リストは公表されていない。その報告書は、モデル提供者が「未成熟な解決策を時期尚早に承認する」ことを懸念していると指摘している。Googleは自社のブログ記事で、この提案が「EUの行動規範と整合している」と評価している。
1行では解決しないこと
草案の言葉を借りれば、トークンはあくまで「設定」である。欧州委員会の報告書は、「留保が遵守されたかを検証することは不可能である」と指摘している。国家のデジタル規制に関する専門機関PEReNは、2025年7月に、ロボットが自己申告する「信頼ベース」のシステムを説明した。法務官は、権利者が拒否の遵守を確認する手段を持たず、一部の開発者がこれを無視していることを示す要素があると指摘している。
2024年5月、OpenAIはクリエイターが学習を拒否できるツールを「2025年までに」提供すると約束した。関係者によれば、これは実現しなかった。フランスでは、2026年6月に公表された書面質問によると、SACEM、SACD、SCAMは2023年10月以来、数百の提供者に異議を通知しているが、「大部分」は返答がないという。
また、法務官の意見は、回答時にページを読み取るチャットボットのケースを区別している。そこで提案される基準は、特に効果的な技術的保護手段の回避を含む、不正アクセスである。彼は、robots.txtは技術的には何も妨げないと指摘している。最後に、この1行は学習のみを対象としており、既に行われたコピーはモデル内に残る。GoogleはこれをGoogle-Extendedのブロックと解釈し、Geminiの回答からもサイトを除外するが、Microsoftは両者の選択を分けている。欧州委員会は11月10日に著作権とAIに関する協議を終了し、プロトコルリストを公表する予定である。
