Robots. Txt : Best Practices für Suchmaschinen- und KI-Robots

Robots. Txt : Best Practices für Suchmaschinen- und KI-Robots
3 Minuten Lesezeit

Die Datei robots.txt bleibt das Referenzwerkzeug, um Crawlern mitzuteilen, welche Teile einer Website sie durchsuchen dürfen. Da nun KI-basierte Suchtools und Agenten Websites neben traditionellen Robots besuchen, ist es entscheidend, die Regeln, die jeder befolgt, genau zu kennen, um Inhalte nicht versehentlich auszuschließen.

An der Wurzel der Website platziert, enthält diese Textdatei mehrere Direktiven. User-agent bezeichnet den betroffenen Robot, Disallow fordert auf, bestimmte Pfade nicht zu crawlen, Allow erlaubt das Crawlen bestimmter URLs, auch wenn ihr übergeordneter Ordner gesperrt ist, und Sitemap gibt den Speicherort der XML-Sitemap an. Die Funktionsweise dieser Direktiven ist in der RFC 9309 beschrieben. Die Datei unterstützt keine vollständigen regulären Ausdrücke und kennt nur zwei Platzhalter: das Sternchen (*), das für null oder mehr Zeichen steht, und das Dollarzeichen ($), das das Ende einer URL markiert. Pfade sind case-sensitiv, während Direktivennamen und Robotnamen es nicht sind.

Welche Regel gewinnt bei einem Konflikt

Wenn ein Robot eigene Regeln hat, folgt er diesen anstelle derjenigen für die Gruppe User-agent: *. Für Google gelten innerhalb der betroffenen Gruppe zwei Prinzipien. Die spezifischste Regel, die mit den meisten Zeichen der URL übereinstimmt, wird priorisiert angewendet. Eine Erlaubnis für einen Unterordner wie /downloads/free/ setzt sich also gegen ein Verbot für /downloads/ durch. Bei gleicher Spezifität gilt die am wenigsten restriktive Regel.

Das Blockieren von Seiten, die nicht in den Suchergebnissen erscheinen müssen, wie eine Datenschutzerklärung, reduziert unnötiges Crawling und lenkt das Crawling-Budget auf nützliche Seiten. Google präzisiert jedoch, dass dies das Budget nicht automatisch auf andere Seiten überträgt, es sei denn, die Website hat bereits ihre Crawling-Kapazitätsgrenze erreicht. Online-Shops sind besonders betroffen: Filter mit unendlichen Kombinationen und Aktions-URLs, wie das Hinzufügen zum Warenkorb oder zur Wunschliste, können eine große Anzahl wertloser Seiten erzeugen. Gary Illyes von Google hat wiederholt gewarnt, dass diese URLs endlos gecrawlt werden können.

Die Datei garantiert jedoch nicht das Entfernen einer Seite aus dem Index. Google kann eine blockierte Seite über Links, die darauf verweisen, indexieren. Um sie zu entfernen, empfiehlt die Quelle das noindex-Tag, vorausgesetzt, die Seite bleibt für Crawler zugänglich, damit Google diese Anweisung lesen kann.

KI-Robots »: « Training », Suche und Besuche auf Anfrage

Der wesentliche Unterschied liegt in der Nutzung der Inhalte. Ein Robot kann für das Training eines Sprachmodells dienen, ein anderer für die Suche oder Echtzeit-Informationsbeschaffung, ein dritter für einen vom Nutzer angeforderten Besuch. Bei OpenAI versorgt OAI-SearchBot die Suchantworten von ChatGPT, ChatGPT-User verwaltet vom Nutzer angeforderte Besuche, und GPTBot dient dem Training. Es ist daher möglich, GPTBot zu blockieren, während die beiden anderen erlaubt werden.

Laut einer BuzzStream-Studie, die im Januar 2026 vom Search Engine Journal aufgegriffen wurde, verbieten 79 % der untersuchten US-amerikanischen und britischen Nachrichtenseiten mindestens einen Trainings-Robot und 71 % mindestens einen Such- oder Echtzeit-Beschaffungs-Robot. Der Leitfaden betont, dass diese Beschaffungs-Robots KI-Tools helfen, Seiten zu finden und zu zitieren, sodass das Blockieren eine separate Entscheidung von der Ablehnung des Trainings ist.

Diese Regeln haben Grenzen. Ein Robot, der robots.txt ignoriert, kann weiterhin Inhalte sammeln, und das Blockieren des Trainings zwingt KI-Tools nicht, die Website zu zitieren. Laut OpenAI gelten die Regeln der Datei möglicherweise nicht für ChatGPT-User, und Perplexity gibt an, dass Perplexity-User sie generell ignoriert. Anthropic behauptet, dass seine Robots, einschließlich Claude-User, robots.txt respektieren. Zum Schutz privater Informationen ist Authentifizierung weiterhin erforderlich.

Google und Apple bieten zudem separate Tokens an. Google-Extended deckt das Training von Gemini und bestimmte Anwendungen zur Verankerung von Antworten ab, ohne Googlebot oder die Aufnahme in die klassische Suche zu blockieren. Applebot-Extended kontrolliert das Training von Foundation-Modellen, ohne das Such-Crawling von Applebot zu blockieren. Diese beiden Tokens sind keine separaten Robots: Sie reduzieren allein nicht die Anzahl der Crawling-Anfragen.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x