Google, Microsoft en OpenAI hebben aangekondigd dat ze dezelfde regel in het robots.txt-bestand zullen respecteren om een voorkeur uit te drukken over AI-training. Een website kan zo één voorkeur aangeven aan alle deelnemende aanbieders, in plaats van aparte regels te schrijven voor de bot van elk bedrijf. Geen van de drie bedrijven ondersteunt deze regel momenteel al, volgens hun respectieve tijdlijnen.
De tekst is gebaseerd op een individueel project (‘Internet Draft’) ingediend door Kevin Kelley van Anthropic bij de AI Preferences-werkgroep van de IETF. Dit document staat in de IETF-tracking als een individueel project, dat geen officiële standaardisatieactiviteit van de organisatie vertegenwoordigt. In een bericht naar de mailinglijst van de groep geeft Kelley aan dat Anthropic begonnen is met het ontwikkelen van deze functionaliteit.
Een gewone regel, een specifiek token
Het project voegt geen nieuwe richtlijn toe aan het robots.txt-bestand. Een regel wordt zoals gebruikelijk geschreven, met de instructies Allow en Disallow, onder een token genaamd __usage_ai-training. Het voorbeeld in de tekst komt overeen met een site die training op al zijn pagina’s weigert, met uitzondering van de map /press-kit/.
Het token volgt de definitie uit het conceptvocabularium van de werkgroep. Training verwijst daar naar het gebruik van inhoud om de geleerde parameters van een generatief AI-model aan te passen. Modellen die alleen niet-generatieve taken uitvoeren, zoals classificatie of rangschikking, zijn uitgesloten. Regels die al in robots.txt-bestanden staan, worden niet meegenomen in deze gedeelde voorkeur, en het token controleert niet het crawlen van pagina’s.
Drie verschillende benaderingen
Google heeft in een bericht van John Mueller aangegeven dat als een site de gemeenschappelijke regel gebruikt zonder Google-Extended te specificeren, het bedrijf dit zal interpreteren ‘alsof de uitgever Google-Extended heeft verboden’. Deze controle zal ook gelden voor antwoorden gebaseerd op inhoud in Gemini Apps. Google mikt op ondersteuning in 2027, waarbij zijn robotdocumentatie het begin van 2027 noemt. Volgens die documentatie regelt Google-Extended het gebruik van inhoud voor het trainen van toekomstige Gemini-modellen, evenals het gebruik ervan voor grounding in Gemini Apps en op Vertex AI. Google koppelt dit hulpmiddel niet aan indexering in zijn zoekmachine, en AI Overviews en de AI-modus hebben een aparte controle.
Microsoft neemt de gemeenschappelijke regel over voor training, maar voegt een aparte voorkeur toe, ‘AI Grounding’, die alleen op paginaniveau wordt gedefinieerd. Volgens het bericht van Krishna Madhavan, hoofdproductmanager bij Bing, staat de optie DisallowExtended grounding toe in Microsoft-tools zoals Copilot, maar niet in diensten die aan andere bedrijven worden geleverd, zoals Web IQ. Het bedrijf benadrukt dat deze beperkingen de zichtbaarheid van het merk in AI-antwoorden kunnen verminderen, zonder effect op de ranking in Bing-resultaten. Microsoft vervangt NoArchive en NoCache door deze twee nieuwe opties vanaf 1 februari 2027, en zal de oude tags na 1 maart 2027 niet meer herkennen.
OpenAI en Anthropic
OpenAI mikt op ondersteuning van dit signaal in de komende maanden, maar zijn huidige robots.txt-beleid blijft van kracht. Zijn bericht noch zijn robotdocumentatie specificeert wat er gebeurt bij een conflict tussen de gemeenschappelijke regel en een GPTBot-regel.
Op 30 oktober had Anthropic nog geen aankondiging hierover gepubliceerd. Volgens het bericht van Kevin Kelley zal de implementatie over alle diensten van het bedrijf tijd kosten. Zijn robot-hulppagina noemt slechts drie controle-opties: ClaudeBot, Claude-User en Claude-SearchBot.
Het concept van Kelley verloopt op 3 mei 2027, tenzij het wordt vervangen door een nieuwe versie. Google en OpenAI hebben aangegeven dat ze meer details zullen verstrekken naarmate hun ondersteuning wordt uitgerold.
