A gestão de robôs em sites já não se pode limitar a uma simples lista de permissões ou bloqueios, defende o autor de um artigo de opinião sobre o tema. Ele defende políticas deliberadas, que tenham em conta a identidade de cada visitante automatizado, os seus objetivos e as consequências do seu acesso.
Robôs com utilizações muito diferentes
Durante anos, a gestão de robôs em otimização para motores de busca (SEO) manteve-se bastante simples: um site permitia os seus robôs de rastreamento ou bloqueava-os. Este modelo nunca foi perfeito, mas geralmente bastava para responder às necessidades. Porém, a pesquisa por IA está a torná-lo cada vez mais inadequado.
Os sites são agora visitados pelos robôs de rastreamento clássicos, por robôs de treino de modelos de IA, por robôs de recolha de informações, por consultas desencadeadas pelos internautas e por agentes autónomos. Estes atores têm objetivos muito diferentes, mas são frequentemente agrupados sob o termo «robôs de IA». Bloquear um robô usado para treinar um modelo não tem as mesmas consequências que bloquear um robô que recolhe conteúdos para formular respostas de pesquisa, e esta distinção é realmente importante.
O ficheiro robots.txt, que indica aos robôs as partes de um site que podem consultar, continua a ser útil. Mas, como o seu cumprimento é voluntário, a aplicação efetiva das regras passa sobretudo pelas CDN (redes de distribuição de conteúdo), firewalls de aplicação e serviços de combate a robôs. Estas ferramentas podem contradizer as regras do robots.txt sem que a equipa de SEO seja informada.
Os agentes, um desafio adicional
Os agentes complicam ainda mais a situação. Podem navegar nos sites como utilizadores reais, desencadear o acompanhamento das estatísticas de tráfego e tornar-se cada vez mais difíceis de distinguir dos visitantes humanos. Bloquear um agente que efetua uma comparação de produtos não significa, portanto, apenas perder uma posição nos resultados: o site pode desaparecer completamente da resposta.
Passar da lista para a política
O autor defende uma transição das listas de bloqueio para políticas de gestão de robôs deliberadas. Estas políticas deveriam examinar quem acede aos conteúdos, por que razão, e quais seriam as consequências da permissão ou do bloqueio. Estas decisões dizem respeito agora às equipas de SEO, engenharia, segurança, jurídico e comercial, que devem, de acordo com o texto, ser coordenadas, aplicadas de forma coerente e revistas regularmente.
O autor indica ter detalhado estes desafios, as suas implicações e algumas abordagens concretas na sua apresentação «GEO Elite». O texto foi publicado originalmente em AI Search Marketing with Chris Green.
