A Google, a Microsoft e a OpenAI anunciaram que vão considerar uma mesma linha no ficheiro robots.txt para expressar uma preferência relativa ao treino de IA. Um site poderá assim indicar uma única preferência a todos os fornecedores que aderirem, em vez de redigir regras distintas para o robot de cada empresa. Nenhuma das três empresas suporta ainda esta linha, de acordo com os seus calendários respetivos.
O texto baseia-se num projeto individual («Internet Draft») submetido por Kevin Kelley, da Anthropic, ao grupo de trabalho AI Preferences da IETF. Este documento figura no seguimento da IETF como um projeto individual, que não representa uma atividade de normalização oficial da organização. Numa mensagem enviada para a lista de distribuição do grupo, Kelley indica que a Anthropic começou a desenvolver esta funcionalidade.
Uma regra comum, um token específico
O projeto não adiciona nenhuma nova diretiva ao ficheiro robots.txt. Uma regra escreve-se como habitualmente, com as instruções Allow e Disallow, sob um token chamado __usage_ai-training. O exemplo dado pelo texto corresponde a um site que recusa o treino em todas as suas páginas, com exceção da pasta /press-kit/.
O token retoma a definição do esboço de vocabulário do grupo de trabalho. O treino designa aí a utilização de um conteúdo para modificar os parâmetros aprendidos de um modelo de IA generativa. Os modelos que apenas realizam tarefas não generativas, como a classificação ou a ordenação, estão excluídos. As regras já presentes nos ficheiros robots.txt não são consideradas nesta preferência comum, e o token não controla a exploração das páginas.
Três abordagens diferentes
A Google indicou, num artigo assinado por John Mueller, que se um site utilizar a linha comum sem especificar Google-Extended, a empresa a interpretará «como se o editor tivesse proibido o Google-Extended». Este controlo aplica-se também às respostas baseadas em conteúdos nas Gemini Apps. A Google visa uma implementação em 2027, a sua documentação sobre robots referindo o início de 2027. Segundo esta documentação, o Google-Extended condiciona a utilização dos conteúdos para treinar os futuros modelos Gemini, bem como a sua utilização para o enraizamento (grounding) nas Gemini Apps e no Vertex AI. A Google não associa esta ferramenta à indexação na sua pesquisa, e os AI Overviews e o modo IA dispõem de um controlo distinto.
A Microsoft retoma a linha comum para o treino, mas adiciona uma preferência separada, «AI Grounding», definida apenas ao nível da página. Segundo o artigo de Krishna Madhavan, principal gestor de produto do Bing, a opção DisallowExtended autoriza o enraizamento nas ferramentas da Microsoft como o Copilot, mas não nos serviços fornecidos a outras empresas, como o Web IQ. A empresa especifica que estas restrições podem reduzir a visibilidade da marca nas respostas de IA, sem efeito na ordenação nos resultados do Bing. A Microsoft substitui o NoArchive e o NoCache por estas duas novas opções a partir de 1 de fevereiro de 2027, e não reconhecerá mais as antigas etiquetas após 1 de março de 2027.
OpenAI e Anthropic
A OpenAI visa uma implementação deste sinal nos próximos meses, mas a sua política atual em matéria de robots.txt permanecerá em vigor. Nem o seu artigo nem a sua documentação sobre robots especificam o que aconteceria em caso de conflito entre a linha comum e uma regra GPTBot.
A 30 de outubro, a Anthropic não tinha publicado nenhum anúncio sobre este assunto. Segundo a mensagem de Kevin Kelley, a implementação em todos os serviços da empresa levará tempo. A sua página de ajuda sobre robots menciona apenas três opções de controlo: ClaudeBot, Claude-User e Claude-SearchBot.
O esboço de Kelley expira a 3 de maio de 2027, a menos que seja substituído por uma nova versão. A Google e a OpenAI indicaram que fornecerão mais detalhes à medida que a sua implementação for sendo lançada.
