Die Steuerung von Robotern auf Websites kann sich nicht mehr auf einfache Erlaubnis- oder Blockierungslisten beschränken, so der Autor eines Gastbeitrags zu diesem Thema. Er plädiert für bewusste Richtlinien, die die Identität jedes automatisierten Besuchers, seine Ziele und die Konsequenzen seines Zugriffs berücksichtigen.
Roboter mit sehr unterschiedlichen Nutzungszwecken
Jahrelang war die Steuerung von Robotern in der Suchmaschinenoptimierung (SEO) recht einfach: Eine Seite erlaubte ihre Crawler oder blockierte sie. Dieses Modell war nie perfekt, reichte aber meist aus, um die Anforderungen zu erfüllen. Die KI-Suche macht es jedoch zunehmend untauglich.
Websites werden nun von klassischen Crawlern, von KI-Modell-Trainingsrobotern, von Informationsabrufrobotern, von durch Nutzer ausgelösten Anfragen und von autonomen Agenten besucht. Diese Akteure verfolgen sehr unterschiedliche Ziele, werden aber oft unter dem Begriff «KI-Roboter» zusammengefasst. Das Blockieren eines Roboters, der zum Training eines Modells genutzt wird, hat nicht die gleichen Konsequenzen wie das Blockieren eines Roboters, der Inhalte für die Formulierung von Suchantworten abruft, und dieser Unterschied ist von Bedeutung.
Die robots.txt-Datei, die Robotern angibt, welche Teile einer Website sie besuchen dürfen, bleibt nützlich. Da ihre Einhaltung jedoch freiwillig ist, erfolgt die effektive Umsetzung der Regeln vor allem über CDNs (Content Delivery Networks), Web Application Firewalls und Bot-Management-Dienste. Diese Tools können die Regeln der robots.txt widersprechen, ohne dass das SEO-Team davon erfährt.
Agenten als zusätzliche Herausforderung
Agenten verkomplizieren die Situation weiter. Sie können sich auf Websites wie echte Nutzer bewegen, die Erfassung von Besucherstatistiken auslösen und immer schwerer von menschlichen Besuchern zu unterscheiden sein. Das Blockieren eines Agenten, der einen Produktvergleich durchführt, bedeutet daher nicht nur, eine Position in den Ergebnissen zu verlieren: Die Website kann vollständig aus der Antwort verschwinden.
Von der Liste zur Richtlinie
Der Autor plädiert für einen Wechsel von Blockierungslisten zu bewussten Richtlinien für das Bot-Management. Diese Richtlinien sollten prüfen, wer auf Inhalte zugreift, aus welchem Grund und welche Konsequenzen eine Erlaubnis oder Blockierung hätte. Diese Entscheidungen betreffen nun SEO-, Engineering-, Sicherheits-, Rechts- und Vertriebsteams, die laut dem Text koordiniert, konsistent umgesetzt und regelmäßig überprüft werden müssen.
Der Autor gibt an, diese Herausforderungen, ihre Implikationen und einige konkrete Ansätze in seiner Präsentation «GEO Elite» detailliert dargestellt zu haben. Der Text wurde ursprünglich auf AI Search Marketing with Chris Green veröffentlicht.
