ウェブサイトにおけるロボットの管理は、単純な許可リストやブロックリストに限定することはもはやできないと、このテーマに捧げられた論説の著者は主張する。彼は、各自動化された訪問者のアイデンティティ、その目的、およびアクセスによる影響を考慮した、意図的なポリシーの必要性を訴えている。
用途が大きく異なるロボットたち
長年にわたり、検索エンジン最適化(SEO)におけるロボット管理は比較的単純だった:サイトはクローラーを許可するかブロックするかであった。このモデルは決して完璧ではなかったが、通常はニーズを満たすのに十分だった。しかし、AIによる検索はこれをますます不適切なものにしている。
サイトは現在、従来のクローラー、AIモデルトレーニング用ロボット、情報収集ロボット、ユーザーによってトリガーされるクエリ、そして自律エージェントによって訪問されている。これらのアクターは非常に異なる目的を持っているが、しばしば「AIロボット」という用語で一括りにされる。モデルトレーニングに使用されるロボットをブロックすることは、検索結果の回答を生成するためにコンテンツを取得するロボットをブロックすることとは異なる影響を持ち、この区別は非常に重要である。
サイトのどの部分をロボットが閲覧できるかを示すrobots.txtファイルは、依然として有用である。しかし、その遵守は任意であるため、ルールの実効的な適用は主にCDN(コンテンツ配信ネットワーク)、WAF(ウェブアプリケーションファイアウォール)、およびボット対策サービスによって行われる。これらのツールは、SEOチームが知らないうちにrobots.txtのルールと矛盾する動作をする可能性がある。
エージェント、さらなる課題
エージェントは状況をさらに複雑にする。彼らは実際のユーザーのようにサイトをナビゲートし、トラフィック統計の追跡をトリガーし、人間の訪問者と区別することがますます難しくなる可能性がある。したがって、製品比較を行うエージェントをブロックすることは、検索結果での順位を失うだけでなく、サイトが回答から完全に消えることにもなりかねない。
リストからポリシーへ
著者は、ブロックリストから意図的なロボット管理ポリシーへの移行を提唱している。これらのポリシーは、誰が、どのような理由でコンテンツにアクセスしているか、そして許可またはブロックした場合の影響は何かを検討すべきである。これらの決定は現在、SEO、エンジニアリング、セキュリティ、法務、およびビジネスチームに関わるものであり、テキストによれば、調整され、一貫して適用され、定期的に見直される必要がある。
著者は、これらの課題、その意味合い、およびいくつかの具体的なアプローチについて、自身のプレゼンテーション「GEO Elite」で詳述したと述べている。このテキストはもともとAI Search Marketing with Chris Greenで公開された。
