Robots. Txt:検索エンジンとAIのロボットに対するベストプラクティス

Robots. Txt:検索エンジンとAIのロボットに対するベストプラクティス
1 分の読書

robots.txtファイルは、クローラーロボットに対してサイトのどの部分を探索可能かを指示するための標準的なツールです。AIを基盤とした検索ツールやエージェントが従来のロボットと並行してサイトを訪問するようになった現在、各ロボットが従うルールを正確に理解し、誤ってコンテンツを除外しないようにすることが不可欠です。

サイトのルートディレクトリに配置されるこのテキストファイルは、いくつかのディレクティブを含みます。User-agentは対象となるロボットを指定し、Disallowは特定のパスの探索を禁止し、Allowは親ディレクトリがブロックされていても特定のURLの探索を許可し、SitemapはXML形式のサイトマップの場所を示します。これらのディレクティブの動作はRFC 9309で規定されています。このファイルは完全な正規表現をサポートしておらず、ワイルドカードは2種類のみです:ゼロ文字以上の任意の文字列にマッチするアスタリスク(*)と、URLの終端を示すドル記号($)です。パスは大文字小文字を区別しますが、ディレクティブ名とロボット名は区別しません。

競合する場合の優先ルール

ロボットに固有のルールが設定されている場合、そのロボットはUser-agent: *グループのルールではなく、固有のルールに従います。Googleの場合、関連するグループ内では2つの原則が適用されます。より具体的なルール、つまりURLのより多くの文字にマッチするルールが優先されます。例えば、/downloads/free/のようなサブディレクトリに対する許可は、/downloads/に対する禁止よりも優先されます。具体性が同等の場合、制限が少ないルールが適用されます。

プライバシーポリシーのような、検索結果に表示する必要のないページをブロックすることは、不要なクロールを減らし、クロール予算を有用なページに向けることを可能にします。ただし、Googleは、サイトがすでにクロール容量の上限に達していない限り、この予算が自動的に他のページに移されるわけではないと説明しています。特に影響を受けるのはオンラインショップです:無限の組み合わせフィルターや、カート追加やウィッシュリスト追加などのアクションURLは、固有の価値のない大量のページを生成する可能性があります。GoogleのGary Illyesは、これらのURLが無期限にクロールされる可能性があると繰り返し警告しています。

ただし、このファイルはページがインデックスから除外されることを保証しません。Googleは、ブロックされたページへのリンクからそのページをインデックスに登録する可能性があります。インデックスから削除するには、ソースはnoindexタグの使用を推奨していますが、その際、Googleがその指示を読み取れるようにページをクロール可能な状態にしておく必要があります。

AIロボット:学習、検索、オンデマンド訪問

重要な区別は、コンテンツの使用目的にあります。あるロボットは言語モデルの学習に使用され、別のロボットは検索やリアルタイム情報取得に、さらに別のロボットはユーザー要求による訪問に使用される場合があります。OpenAIでは、OAI-SearchBotがChatGPTの検索応答を強化し、ChatGPT-Userがユーザー要求による訪問を処理し、GPTBotが学習に使用されます。したがって、GPTBotをブロックしながら他の2つを許可することが可能です。

Search Engine Journalが2026年1月に報じたBuzzStreamの調査によると、調査対象となった米国および英国のニュースサイトの79%が少なくとも1つの学習ロボットを禁止し、71%が少なくとも1つの検索またはリアルタイム取得ロボットを禁止していました。ガイドは、これらの取得ロボットはAIツールがページを見つけて引用するのを助けるため、それらをブロックすることは学習拒否とは別の決定であると強調しています。

これらのルールには限界があります。robots.txtを無視するロボットは依然としてコンテンツを収集でき、学習をブロックしてもAIツールがサイトを引用する義務は生じません。OpenAIによると、ファイルのルールはChatGPT-Userには適用されない可能性があり、PerplexityはPerplexity-Userが一般的にそれらを無視すると述べています。Anthropicは、Claude-Userを含むそのロボットがrobots.txtを尊重すると主張しています。個人情報を保護するには、認証が依然として必要です。

さらに、GoogleとAppleは別個のトークンを提供しています。Google-ExtendedはGeminiの学習と一部の回答アンカリング用途を対象とし、Googlebotのブロックや従来の検索への含まれ方は妨げません。Applebot-Extendedは基盤モデルの学習を制御しますが、Applebotの検索クロールはブロックしません。これら2つのトークンは別個のロボットではなく、単独ではクロールリクエストの数を減らすものではありません。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x