Google, Microsoft et OpenAI ont annoncé qu’ils prendront en compte une même ligne du fichier robots.txt pour exprimer une préférence concernant l’entraînement de l’IA. Un site pourrait ainsi indiquer une seule préférence à tous les fournisseurs qui adhèrent, au lieu de rédiger des règles distinctes pour le robot de chaque entreprise. Aucune des trois entreprises ne prend encore en charge cette ligne, selon leurs calendriers respectifs.
- Google, Microsoft et OpenAI prévoient une ligne commune dans robots.txt pour refuser l’entraînement de l’IA.
- Le jeton __usage_ai-training vise uniquement l’entraînement des modèles d’IA générative.
- Aucune des trois entreprises ne prend encore en charge ce signal.
- Anthropic n’a encore rien annoncé, et le brouillon expire en mai 2027.
Le texte repose sur un projet individuel (« Internet Draft ») soumis par Kevin Kelley, d’Anthropic, au groupe de travail AI Preferences de l’IETF. Ce document figure dans le suivi de l’IETF comme un projet individuel, qui ne représente pas une activité de standardisation officielle de l’organisation. Dans un message envoyé à la liste de diffusion du groupe, Kelley indique qu’Anthropic a commencé à développer cette fonctionnalité.
Une règle ordinaire, un jeton spécifique
Le projet n’ajoute aucune nouvelle directive au fichier robots.txt. Une règle s’écrit comme d’habitude, avec les instructions Allow et Disallow, sous un jeton appelé __usage_ai-training. L’exemple donné par le texte correspond à un site qui refuse l’entraînement sur l’ensemble de ses pages, à l’exception du dossier /press-kit/.
Le jeton reprend la définition du brouillon de vocabulaire du groupe de travail. L’entraînement y désigne l’utilisation d’un contenu pour modifier les paramètres appris d’un modèle d’IA générative. Les modèles qui ne font que des tâches non génératives, comme la classification ou le classement, en sont exclus. Les règles déjà présentes dans les fichiers robots.txt ne sont pas prises en compte dans cette préférence commune, et le jeton ne contrôle pas l’exploration des pages.
Trois approches différentes
Google a indiqué, dans un billet signé John Mueller, que si un site utilise la ligne commune sans préciser Google-Extended, l’entreprise l’interprétera « comme si l’éditeur avait interdit Google-Extended ». Ce contrôle s’appliquera aussi aux réponses fondées sur des contenus dans Gemini Apps. Google vise une prise en charge en 2027, sa documentation des robots évoquant le début de 2027. Selon cette documentation, Google-Extended conditionne l’utilisation des contenus pour entraîner les futurs modèles Gemini, ainsi que leur usage pour l’ancrage (grounding) dans Gemini Apps et sur Vertex AI. Google ne lie pas cet outil à l’indexation dans sa recherche, et les AI Overviews et le mode IA disposent d’un contrôle distinct.
Microsoft reprend la ligne commune pour l’entraînement, mais ajoute une préférence séparée, « AI Grounding », définie uniquement au niveau de la page. Selon le billet de Krishna Madhavan, chef de produit principal chez Bing, l’option DisallowExtended autorise l’ancrage dans les outils de Microsoft comme Copilot, mais pas dans les services fournis à d’autres entreprises, comme Web IQ. L’entreprise précise que ces restrictions peuvent réduire la visibilité de la marque dans les réponses de l’IA, sans effet sur le classement dans les résultats de Bing. Microsoft remplace NoArchive et NoCache par ces deux nouvelles options à partir du 1er février 2027, et ne reconnaîtra plus les anciennes balises après le 1er mars 2027.
OpenAI et Anthropic
OpenAI vise une prise en charge de ce signal dans les prochains mois, mais sa politique actuelle en matière de robots.txt restera en vigueur. Ni son billet ni sa documentation des robots ne précisent ce qui se passerait en cas de conflit entre la ligne commune et une règle GPTBot.
Au 30 octobre, Anthropic n’avait publié aucune annonce à ce sujet. Selon le message de Kevin Kelley, la mise en œuvre sur l’ensemble des services de l’entreprise prendra du temps. Sa page d’aide aux robots ne mentionne que trois options de contrôle : ClaudeBot, Claude-User et Claude-SearchBot.
Le brouillon de Kelley expire le 3 mai 2027, sauf s’il est remplacé par une nouvelle version. Google et OpenAI ont indiqué qu’ils fourniraient davantage de détails à mesure que leur prise en charge serait déployée.
