O ficheiro robots.txt continua a ser a ferramenta de referência para indicar aos robots de rastreamento as partes de um site que podem percorrer. À medida que ferramentas de busca baseadas em IA e agentes visitam agora os sites ao lado dos robots tradicionais, conhecer bem as regras que cada um segue torna-se essencial para não excluir os seus conteúdos por engano.
Colocado na raiz do site, este ficheiro de texto inclui várias diretivas. User-agent designa o robot em questão, Disallow pede para não explorar determinados caminhos, Allow autoriza a exploração de determinados URLs mesmo que a sua pasta-mãe esteja bloqueada, e Sitemap indica a localização do mapa do site em formato XML. O funcionamento destas diretivas é descrito na RFC 9309. O ficheiro não suporta expressões regulares completas e conta apenas com dois curingas: o asterisco (*), que corresponde a zero ou mais caracteres, e o dólar ($), que marca o fim de um URL. Os caminhos são sensíveis a maiúsculas e minúsculas, enquanto os nomes das diretivas e os nomes dos robots não o são.
Qual regra prevalece em caso de conflito
Quando um robot dispõe de regras próprias, segue estas em vez das do grupo User-agent: *. Para o Google, aplicam-se dois princípios dentro do grupo em questão. A regra mais específica, aquela que corresponde a mais caracteres do URL, é aplicada prioritariamente. Assim, uma autorização relativa a uma subpasta, como /downloads/free/, prevalece sobre uma interdição relativa a /downloads/. Com especificidade igual, é a regra menos restritiva que se aplica.
Bloquear páginas que não precisam de figurar nos resultados de busca, como uma política de privacidade, permite reduzir o rastreamento desnecessário e orientar o orçamento de rastreamento para as páginas úteis. O Google esclarece, no entanto, que isso não transfere automaticamente esse orçamento para outras páginas, a menos que o site já tenha atingido o seu limite de capacidade de rastreamento. As lojas online são particularmente afetadas: os filtros com combinações infinitas e os URLs de ação, como a adição ao carrinho ou à lista de desejos, podem gerar um grande número de páginas sem valor próprio. Gary Illyes, do Google, alertou várias vezes que estes URLs podem ser rastreados indefinidamente.
O ficheiro não garante, contudo, a saída de uma página do índice. O Google pode indexar uma página bloqueada a partir das ligações que apontam para ela. Para a remover, a fonte recomenda a tag noindex, desde que se deixe a página acessível ao rastreamento para que o Google possa ler essa instrução.
Robots de IA: treino, busca e visitas a pedido
A distinção essencial diz respeito ao uso feito dos conteúdos. Um robot pode servir para o treino de um modelo de linguagem, outro para a busca ou para a recuperação de informações em tempo real, um terceiro para uma visita solicitada por um utilizador. Na OpenAI, o OAI-SearchBot alimenta as respostas de busca do ChatGPT, o ChatGPT-User gere as visitas solicitadas pelo utilizador, e o GPTBot serve para o treino. É, portanto, possível bloquear o GPTBot enquanto se autorizam os outros dois.
Segundo um estudo da BuzzStream, divulgado pelo Search Engine Journal em janeiro de 2026, 79% dos sites de notícias norte-americanos e britânicos analisados proíbem pelo menos um robot de treino, e 71% pelo menos um robot de busca ou de recuperação em tempo real. O guia salienta que estes robots de recuperação ajudam as ferramentas de IA a encontrar e a citar páginas, pelo que bloqueá-los constitui uma decisão distinta da recusa do treino.
Estas regras têm limites. Um robot que ignore o robots.txt pode sempre recolher conteúdos, e bloquear o treino não obriga as ferramentas de IA a citar o site. Segundo a OpenAI, as regras do ficheiro podem não se aplicar ao ChatGPT-User, e a Perplexity indica que o Perplexity-User geralmente as ignora. A Anthropic afirma que os seus robots, incluindo o Claude-User, respeitam o robots.txt. Para proteger informações privadas, a autenticação continua a ser necessária.
O Google e a Apple propõem, além disso, tokens distintos. O Google-Extended abrange o treino do Gemini e certos usos de ancoragem de respostas, sem bloquear o Googlebot nem a inclusão na busca clássica. O Applebot-Extended controla o treino dos modelos de base sem bloquear o rastreamento de busca do Applebot. Estes dois tokens não são robots distintos: não reduzem, por si só, o número de pedidos de rastreamento.
