Op 30 oktober hebben OpenAI, Google, Microsoft en Anthropic hetzelfde signaal in robots.txt aangenomen om het trainen van AI-modellen te weigeren. Dit mechanisme, dat tegemoetkomt aan een verwachting van Europa, voorziet noch in een ontvangstbevestiging noch in een verificatie van de naleving ervan.
Een regel in robots.txt
Het bestand robots.txt stelt een site in staat aan robots aan te geven wat ze mogen lezen. Het signaal dat Kevin Kelley van Anthropic beschrijft in een ontwerp dat bij de IETF, het internetnormalisatieorgaan, is ingediend, bestaat uit het toevoegen van een groep waarvan de header het token __usage_ai-training draagt, gevolgd door een Disallow. Er is geen nieuwe richtlijn nodig: de al in gebruik zijnde leesmiddelen negeren deze groep, zoals elke onbekende agent. De voorkeur kan per map worden ingesteld, waarbij het voorbeeld in het ontwerp de hele site sluit behalve de map ‘pers’. Zonder deze groep wordt geen voorkeur uitgedrukt, wat Microsoft standaard leest als een toestemming.
Het token betreft alleen het gebruik, en niet de toegang tot pagina’s. Het dekt het trainen, dat wil zeggen het aanpassen van de parameters van een generatief model, maar niet het verankeren, oftewel het raadplegen van een pagina op het moment dat de assistent antwoordt. OpenAI heeft het over de komende maanden, Microsoft over 1 februari 2027 en Google over 2027 voor de toepassing van dit signaal. Meta heeft het idee toegejuicht zonder zich te verbinden.
Wat het Europese recht vroeg
De richtlijn uit 2019 over auteursrecht stelt rechthebbenden in staat hun rechten voor te behouden tegen het text- en datamijnen, mits dit op een « gepaste wijze » gebeurt, onder meer via voor machines leesbare procedures. De AI Act verlangt in artikel 53 van aanbieders van AI-modellen voor algemeen gebruik dat zij deze voorbehouden respecteren « onder meer met behulp van geavanceerde technologieën ». De gedragscode, ondertekend door 22 bedrijven waaronder de vier auteurs van de aankondiging, noemt robots.txt « en elke latere versie », vóór andere nog te identificeren protocollen.
Op 3 november heeft advocaat-generaal Maciej Szpunar, eerste advocaat-generaal bij het Hof van Justitie van de Europese Unie, zijn conclusies bekendgemaakt in de zaak Like Company tegen Google. Zijn advies bindt de rechters niet. Hij is van mening dat trainen op rechtmatig toegankelijke inhoud in de regel onder de uitzondering voor datamining valt, en dat een voorbehoud gepast is als robots volgens de huidige stand van de techniek dit met voldoende betrouwbaarheid kunnen begrijpen. Hij noemt robots.txt, Google-Extended en de metadata van een bestand, waarbij volgens hem normalisatie gaande is en « naar alle waarschijnlijkheid » tot een resultaat moet leiden.
De Europese Commissie heeft van haar kant van 1 december 2025 tot 23 januari 2026 geraadpleegd over zeven protocollen anders dan robots.txt. Op 4 november was er nog geen lijst gepubliceerd. Haar rapport wijst op de vrees van modelaanbieders dat de raadpleging « voorbarig onrijpe oplossingen zou goedkeuren ». Google vindt in zijn blogpost dat het voorstel « in overeenstemming is met de EU-gedragscode ».
Wat de regel niet regelt
Het token blijft, volgens de formulering in het ontwerp, een voorkeur. Het rapport van de Commissie stelt vast dat « het niet mogelijk is te verifiëren dat een voorbehoud is nageleefd ». De PEReN, de staatskennispool voor digitale regulering, beschreef in juli 2025 een « op vertrouwen gebaseerd » systeem, waarbij de robot zichzelf declareert. De advocaat-generaal merkt op dat rechthebbenden niet de middelen hebben om zich ervan te vergewissen dat hun weigeringen worden gerespecteerd, en dat er aanwijzingen zijn dat sommige ontwikkelaars ze negeren.
In mei 2024 had OpenAI een tool beloofd waarmee makers het trainen konden weigeren « voor 2025 ». Volgens de bron is die er nooit gekomen. In Frankrijk stellen de SACEM, de SACD en de SCAM, volgens een schriftelijke vraag gepubliceerd in juni 2026, sinds oktober 2023 hun verzet tegen honderden aanbieders te kennen, « voor het overgrote deel » zonder antwoord.
De conclusies van de advocaat-generaal maken verder onderscheid tussen het geval van de chatbot die een pagina leest op het moment van antwoorden. Het voorgestelde criterium is dan de onrechtmatige toegang, met name het omzeilen van doeltreffende technische maatregelen. Hij merkt op dat robots.txt technisch gezien niets verhindert. Tot slot dekt de regel alleen het trainen, reeds gemaakte kopieën blijven in de modellen, en Google leest het als een blokkade van Google-Extended, wat de site ook uit de antwoorden van Gemini haalt, terwijl Microsoft de twee keuzes scheidt. De Commissie moet haar raadpleging over auteursrecht en AI op 10 november afsluiten en haar lijst van protocollen publiceren.
