Robots. Txt : de beste praktijken voor zoekmachine- en AI-robots

Robots. Txt : de beste praktijken voor zoekmachine- en AI-robots
3 min lezen

Het robots.txt-bestand blijft het referentie-instrument om aan crawlers aan te geven welke delen van een website ze mogen doorzoeken. Nu AI-gebaseerde zoektools en agents naast traditionele robots websites bezoeken, is het essentieel om de regels die elk volgt goed te kennen om je content niet per ongeluk uit te sluiten.

Geplaatst in de hoofdmap van de site, bevat dit tekstbestand verschillende richtlijnen. User-agent geeft de betreffende robot aan, Disallow vraagt om bepaalde paden niet te verkennen, Allow staat het verkennen van bepaalde URL’s toe zelfs als hun bovenliggende map is geblokkeerd, en Sitemap geeft de locatie van de sitemap in XML-formaat aan. De werking van deze richtlijnen wordt beschreven in de RFC 9309. Het bestand ondersteunt geen volledige reguliere expressies en kent slechts twee jokers: het asterisk-teken (*), dat overeenkomt met nul of meer tekens, en het dollar-teken ($), dat het einde van een URL markeert. De paden zijn hoofdlettergevoelig, terwijl de namen van richtlijnen en robots dat niet zijn.

Welke regel prevaleert bij een conflict

Wanneer een robot eigen regels heeft, volgt hij deze in plaats van die van de groep User-agent: *. Voor Google gelden binnen de betreffende groep twee principes. De meest specifieke regel, die overeenkomt met meer tekens van de URL, wordt als eerste toegepast. Zo prevaleert een toestemming voor een submap, zoals /downloads/free/, boven een verbod voor /downloads/. Bij gelijke specificiteit is het de minst restrictieve regel die wordt toegepast.

Het blokkeren van pagina’s die niet in de zoekresultaten hoeven te staan, zoals een privacybeleid, vermindert onnodige crawling en stuurt het crawl-budget naar nuttige pagina’s. Google benadrukt echter dat dit budget niet automatisch naar andere pagina’s wordt overgeheveld, tenzij de site zijn maximale crawl-capaciteit al bereikt. Online winkels zijn hierbij een belangrijk aandachtspunt: filters met oneindige combinaties en actie-URL’s, zoals toevoegen aan winkelwagen of verlanglijst, kunnen een groot aantal pagina’s zonder eigen waarde genereren. Gary Illyes van Google heeft meermaals gewaarschuwd dat deze URL’s eindeloos gecrawld kunnen worden.

Het bestand garandeert echter niet dat een pagina uit de index wordt verwijderd. Google kan een geblokkeerde pagina indexeren op basis van links die ernaar verwijzen. Om deze te verwijderen, raadt de bron de noindex-tag aan, op voorwaarde dat de pagina toegankelijk blijft voor crawling zodat Google deze instructie kan lezen.

AI-robots »: « training », zoeken en bezoeken op verzoek

Het essentiële onderscheid betreft het gebruik dat van de content wordt gemaakt. Een robot kan dienen voor het trainen van een taalmodel, een andere voor zoeken of het live ophalen van informatie, een derde voor een bezoek dat door een gebruiker is aangevraagd. Bij OpenAI voedt OAI-SearchBot de zoekantwoorden van ChatGPT, beheert ChatGPT-User de door de gebruiker aangevraagde bezoeken, en dient GPTBot voor training. Het is dus mogelijk GPTBot te blokkeren terwijl de andere twee worden toegestaan.

Volgens een BuzzStream-studie, geciteerd door Search Engine Journal in januari 2026, verbiedt 79% van de onderzochte Amerikaanse en Britse nieuwssites ten minste één trainingsrobot, en 71% ten minste één zoek- of live-retrievalrobot. De gids benadrukt dat deze retrieval-robots AI-tools helpen pagina’s te vinden en te citeren, zodat het blokkeren ervan een aparte beslissing is van het weigeren van training.

Deze regels hebben beperkingen. Een robot die robots.txt negeert, kan nog steeds content verzamelen, en het blokkeren van training verplicht AI-tools niet om de site te citeren. Volgens OpenAI zijn de regels van het bestand mogelijk niet van toepassing op ChatGPT-User, en Perplexity geeft aan dat Perplexity-User ze over het algemeen negeert. Anthropic beweert dat zijn robots, waaronder Claude-User, robots.txt respecteren. Voor het beschermen van privé-informatie blijft authenticatie noodzakelijk.

Google en Apple bieden bovendien aparte tokens aan. Google-Extended dekt de training van Gemini en bepaalde toepassingen voor het verankeren van antwoorden, zonder Googlebot te blokkeren of opname in de klassieke zoekfunctie te belemmeren. Applebot-Extended beheert de training van foundation-modellen zonder de zoekcrawling van Applebot te blokkeren. Deze twee tokens zijn geen aparte robots: ze verminderen op zichzelf niet het aantal crawl-verzoeken.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x