Le fichier robots.txt reste l’outil de référence pour indiquer aux robots d’exploration les parties d’un site qu’ils peuvent parcourir. Alors que des outils de recherche fondés sur l’IA et des agents visitent désormais les sites aux côtés des robots traditionnels, bien connaître les règles que chacun suit devient essentiel pour ne pas exclure ses contenus par erreur.
Placé à la racine du site, ce fichier texte comprend plusieurs directives. User-agent désigne le robot concerné, Disallow demande de ne pas explorer certains chemins, Allow autorise l’exploration de certaines URL même si leur dossier parent est bloqué, et Sitemap indique l’emplacement du plan du site au format XML. Le fonctionnement de ces directives est décrit dans la RFC 9309. Le fichier ne prend pas en charge les expressions régulières complètes et ne compte que deux jokers : l’astérisque (*), qui correspond à zéro caractère ou plus, et le dollar ($), qui marque la fin d’une URL. Les chemins sont sensibles à la casse, alors que les noms de directives et les noms de robots ne le sont pas.
Quelle règle l’emporte en cas de conflit
Lorsqu’un robot dispose de règles qui lui sont propres, il suit ces dernières plutôt que celles du groupe User-agent: *. Pour Google, deux principes s’appliquent au sein du groupe concerné. La règle la plus spécifique, celle qui correspond à davantage de caractères de l’URL, est appliquée en priorité. Ainsi, une autorisation portant sur un sous-dossier, comme /downloads/free/, l’emporte sur une interdiction visant /downloads/. À spécificité égale, c’est la règle la moins restrictive qui s’applique.
Bloquer les pages qui n’ont pas besoin de figurer dans les résultats de recherche, comme une politique de confidentialité, permet de réduire l’exploration inutile et d’orienter le budget d’exploration vers les pages utiles. Google précise toutefois que cela ne transfère pas automatiquement ce budget vers d’autres pages, sauf si le site atteint déjà sa limite de capacité d’exploration. Les boutiques en ligne sont particulièrement concernées : les filtres à combinaisons infinies et les URL d’action, comme l’ajout au panier ou à la liste de souhaits, peuvent générer un grand nombre de pages sans valeur propre. Gary Illyes, de Google, a averti à plusieurs reprises que ces URL peuvent être explorées indéfiniment.
Le fichier ne garantit toutefois pas la sortie d’une page de l’index. Google peut indexer une page bloquée à partir des liens qui pointent vers elle. Pour la retirer, la source recommande la balise noindex, à condition de laisser la page accessible à l’exploration afin que Google puisse lire cette instruction.
Robots d’IA : entraînement, recherche et visites à la demande
La distinction essentielle concerne l’usage fait des contenus. Un robot peut servir à l’entraînement d’un modèle de langage, un autre à la recherche ou à la récupération d’informations en direct, un troisième à une visite demandée par un utilisateur. Chez OpenAI, OAI-SearchBot alimente les réponses de recherche de ChatGPT, ChatGPT-User gère les visites demandées par l’utilisateur, et GPTBot sert à l’entraînement. Il est donc possible de bloquer GPTBot tout en autorisant les deux autres.
Selon une étude BuzzStream, relayée par Search Engine Journal en janvier 2026,79 % des sites d’information américains et britanniques examinés interdisent au moins un robot d’entraînement, et 71 % au moins un robot de recherche ou de récupération en direct. Le guide souligne que ces robots de récupération aident les outils d’IA à trouver et à citer les pages, si bien que les bloquer relève d’une décision distincte de celle du refus de l’entraînement.
Ces règles ont des limites. Un robot qui ignore robots.txt peut toujours collecter des contenus, et bloquer l’entraînement n’oblige pas les outils d’IA à citer le site. Selon OpenAI, les règles du fichier peuvent ne pas s’appliquer à ChatGPT-User, et Perplexity indique que Perplexity-User les ignore généralement. Anthropic affirme que ses robots, dont Claude-User, respectent robots.txt. Pour protéger des informations privées, l’authentification reste nécessaire.
Google et Apple proposent par ailleurs des jetons distincts. Google-Extended couvre l’entraînement de Gemini et certains usages d’ancrage des réponses, sans bloquer Googlebot ni l’inclusion dans la recherche classique. Applebot-Extended contrôle l’entraînement des modèles de fondation sans bloquer l’exploration de recherche d’Applebot. Ces deux jetons ne sont pas des robots distincts : ils ne réduisent pas, à eux seuls, le nombre de requêtes d’exploration.
